模型和寫程式工具分不開,格式那一層開嚴格檢查就修得掉——開獎 2026-11-12

這在吵什麼:同一個 AI 模型放進自家的寫程式工具表現好,換到別家的工具就變差,大家在問原因。

為何重要:如果模型只認自家工具,企業選模型就等於連工具一起選,換供應商更難。

誰在對賭:一派說模型被訓練成只會自家工具的格式,本報認為主因是格式沒被嚴格檢查,而這一層修得掉。

本報判讀:模型和工具分不開,確實有一個說得出來的原因,但不是「模型只會自家格式」,而是「沒人嚴格檢查格式」。

Anthropic 自家的 Claude Code 收到模型多寫的欄位會直接丟掉、不報錯,也沒開嚴格模式,所以模型訓練時從來沒有因為亂加欄位被扣分。

格式這一層開一個開關就能修:Anthropic 的嚴格工具呼叫(要求模型輸出完全照工具規定的格式)已支援 Opus 4.8、Sonnet 5、Opus 5 與 Fable 5 各版。

真正的成本在工具這一端(harness,把模型接上檔案、指令列等工具的外殼程式):每個模型要維護一份工具格式表,新一代模型出來還有更新時差。模型「用慣自家工具」會不會拖低成功率,目前沒有任何量測。

原說法有兩處站不住。它說兩個互不相干的來源同一天出現,其實講原因的是七週前的一篇部落格,講數字的是外部貢獻者一個還沒被採納的程式修改。

它把 58.4% 對 63% 的成功率差距歸給工具,但只有 113 題,4.6 個百分點還不到一個抽樣誤差,看不出任何東西。

這張卡寫下判斷時依據的原文,還沒有整理成可以點開核對的連結。

2026-11-12 前看三件事:開源寫程式工具 Pi 有沒有對 Claude 預設打開嚴格模式或改用原生編輯工具;有沒有人公布 Opus 5、Fable 5 在 Pi 原本工具格式上自己發明欄位的比率;有沒有任何工具廠商公開各模型呼叫工具時格式出錯的比率。

長期再看兩件事:同一模型、同一工具、同一組題目,嚴格模式開與關的成功率差多少;Anthropic 的文件會不會寫明模型受過自家編輯工具的訓練。

什麼會推翻它

嚴格模式打開之後,編輯成功率仍明顯落後 Claude Code:問題不只在格式,「一個開關修得掉」就錯了,原本「模型用慣自家工具」的說法回來。這是最可能推翻本判斷的一條。

新一代模型自己發明欄位的比率接近零:「新一代更嚴重」只是單一代的雜訊。

有工具廠商公開各模型的格式出錯率,而且模型之間差距小到可以忽略:每個模型各維護一份格式表就沒必要,本判斷降為工程細節。

看完整深度解剖 →