趨勢 · 預印本 10 月 23 日

Shao Zhang 等測外框排名隨模型變。摘要未列分數

Shao Zhang、Hangfan Zhang 等人的預印本測了 4 個通用 coding agent 外框乘 4 個模型、6 個基準共 52,168 條執行紀錄，外框的排名隨底下的模型與基準改變。 外框（harness）是包在模型外面、管提示、工具與流程的那層程式；受測的通用外框是 OpenCode、Codex CLI、Pi CLI、DeepAgents（arXiv 2610.32483，2026-10-23）。據論文摘要，OpenCode 在跨模型表現居首，但沒有一個外框在所有模型與基準上都最好。任務分數高的搭配，有效完成率不一定高。有效完成率是作者自定的指標，量代理人有沒有正常跑完、交出可評的結果。論文摘要只點名 4 個模型中的 DeepSeek V4 Flash Preview，也沒有列分數。10 月 23 日新加坡管理大學團隊的另一篇預印本量到，同一個開源模型換六種外框跑 SWE-bench Verified，解題率最多差 44 個百分點（arXiv 2610.32131，2026-10-23）；今天這篇把同一命題放大到 52,168 條紀錄。本報的讀法：單獨替外框排名，換了模型就可能換答案，代理人排行榜要寫明用的是哪個模型加哪個外框。怎麼查的 →

概念插圖：右側一隻手拿著平板電腦，螢幕頂端是寫著「PREPRINT」的黑色橫條，下方並排兩欄、各疊四張帶有三個小圓點與灰色橫線的視窗卡片。左欄由上而下為寫著「OPENCODE」的紅色卡片、黑色、米色、灰褐色卡片，右欄為黑色、寫著「OPENCODE」的紅色卡片、灰褐色、米色卡片；每欄底部各有一台筆記型電腦，左邊是黑色、右邊是灰色，螢幕上各顯示一個內含灰線的對話框，背景右上方有一個淡粉紅色圓形。

出處與查證

這則刊在2026年10月27日的晨報，同一期還有 12 則。查證經過、引句核對與當天缺的資料，記在那一期的本日驗證。

引用這則

SecondSource（2026），〈Shao Zhang 等測外框排名隨模型變。摘要未列分數〉，https://secondsource.io/research/2026-10-27-1/，取用日期取用。