要「看大量資料」的 AI,長上下文會勝過檢索與逐任務微調——開獎 2027-07-14

這在吵什麼:讓 AI 消化大量資料有三種做法——一次塞進對話視窗(長上下文)、每次去資料庫撈片段(檢索)、或針對每個任務微調模型(把知識訓練進參數)。

為何重要:三種做法的成本與維護方式完全不同,選錯就要把整套工程重做一次。

誰在對賭:檢索派與微調派 vs 本報押長上下文。

本報判讀:在「需要看大量資料」這條賽道上,長上下文會勝出。

這條判斷已由一個更精確、可逐項查證的後續版本接手(五款主流編碼 AI 中四家以上以長上下文為主記憶),原條保留在此供對照,不刪不改。

arXiv (Nelson Liu, Kevin Lin, Hewitt, Paranjape, Bevilacqua, Petroni, Percy Liang)
「we observe that performance is often highest when…」

到 2027 年 7 月盤點:主流的前沿編碼 AI 仍以長上下文為主要承載方式(而不是權重記憶或純檢索),算說中。

什麼會推翻它

長上下文被證實有硬性的衰減上限(業界叫 context rot,塞太多反而變笨),而且權重派在企業場景反超。