長文件 AI 輸在沒讀完不在程式碼:通用代理開子代理就追上大半——存疑・開獎 2027-03-31

這在吵什麼:法律盡職調查這類要讀完幾千份文件的工作,量身打造的包法(harness,包在模型外面、決定怎麼讀資料與分工的程式)是不是比通用的 AI 寫程式代理強很多。

為何重要:這決定垂直 AI 公司的護城河在哪,如果優勢只是「讀得完」,通用工具調整設定就能追上。

誰在對賭:法律 AI 公司 Harvey 的自家測試顯示專屬包法大勝通用代理,本報認為差距主要來自通用代理照預設跑時讀得太少。

本報判讀:在長文件專業工作上,量身包法勝過通用代理(agent,能自己規劃步驟、呼叫工具的 AI)的主因是覆蓋率,也就是有沒有把資料讀完,而不是專屬程式碼。

照預設跑的通用代理讀得太少,開啟子代理分派(主代理把審閱工作切塊交給多個子代理)後,差距大幅縮小。

換對包法之後,不同根模型之間的差距仍和包法本身的效果同一量級。用開源模型後訓(在既有模型上再針對任務訓練)出來的主代理,暫時還沒追上前沿模型。

Harvey 自報的測試裡,同一批七個模型換成分派式包法,平均通過率從 23.3% 升到 62.4%;後訓開源主代理 63.0%,低於 Opus 5 的 77.6%。這組數字是 Harvey 單一自報、自訂的測試,尚未獨立複現。

Ahead of AI(Sebastian Raschka)
「to my surprise, Qwen3.6 does actually perform…」

2027-03-31 到期,看三件事:

①在同類長文件盡職調查任務上,開了子代理分派(或 dynamic workflows,動態分派工作流程)的 Claude Code 或 Codex,是否仍落後專屬遞迴包法 20 分以上。

②在同一包法的保留測試集上,後訓開源主代理(例如 Harvey 的 GLM-5.3)是否追平或超過最好的前沿模型(Opus 5 的 77.6%)。

③第三方用真實資料室或律師評分重做測試,覆蓋率和分數之間的關係是否消失。

什麼會推翻它

①成立:「差距主要是沒讀完」撤回,改回「通用代理是錯的預設」。

②成立:「後訓開源模型輸給前沿模型」撤回,恢復原判斷的後半部。

③成立:覆蓋率這個解釋撤回。