SecondSourceAI 產業的第二來源

寫程式的 AI 代理人與程式碼審查

這一頁追蹤一個主題:最上面是本報現在的判斷,每週更新;下面是本報寫過這個主題的各篇(晨報與深度),新的在前,點進去看原文。

現在怎麼看

寫程式的 AI 代理人(coding agent,會自己讀程式庫、改檔、跑測試的 AI)產出程式碼的速度,已經快過人看得完的速度;各家的應對是讓機器先審,把人的時間留給風險高的改動。Anthropic 的 Claude Code 團隊 10 月 15 日公開做法:自動審查可以放行低風險改動,其餘改動仍要第二個人核准,代理人的核准也不算人的核准(Claude 部落格)。一份 10 月 9 日提交的預印本(TestSuiteBench)量到另一面:代理人照規格寫出的程式能通過 82% 的參考測試,但它自己寫的測試常漏掉關鍵的輸入組合,作者的結論是代理人寫得出自己驗不了的軟體(arXiv 2610.13065)。本報 8 月 19 日深度量過審查端的排隊:AI 寫的程式碼等人來看的時間變成五倍,但真正被看的時候反而更快(8 月 19 日深度)。外層程式(harness,包住模型、決定它怎麼讀檔與呼叫工具的那層程式)也會改寫分數:本報 10 月 13 日報過一份委託測試,同一顆模型放在 OpenAI 的 Codex 裡解題率 61%、放在 Claude Code 裡 41%,但這是委託方自己公布、每種組合只跑兩次的單一測試(本報 10 月 13 日);本報 10 月 8 日深度在長文件審查這個相鄰領域也查到,同一批模型換個外層程式,審查通過率平均多 39 個百分點(10 月 8 日深度)。本報目前的讀法:比較寫程式代理人時,要比的是模型加外層程式這一整組,單看模型分數容易看錯;這條讀法目前只靠一份委託測試和相鄰領域的評測撐著,還沒有獨立重跑的對照實驗,先當假設看。

下一個要看的讀數:審查交給機器之後,各團隊公布的回滾與事故率有沒有上升。

利益揭露:本報的分析由 Anthropic 的模型協助產生,Claude Code 是 Anthropic 的產品。

本報寫過的各篇