本週 · 預印本，arXiv 2610.37283

BenchMeUp 自建題 91% 經作者核對合格

斯圖加特大學的 BenchMeUp 用帶驗證回路的代理流程，從自然語言規格建軟體工程評測題，建出的 198 題裡 91% 經作者核對全部合格；作者另跑通用代理 Codex 當對照，同樣 200 題只有 5% 合格。據論文摘要，作者 Islem Bouzenia 與 Michael Pradel 設定程式修復、問題重現、編譯器自動調校與修靜態分析告警四類任務，各 50 題，最後建出 198 題。本報推論：照 BenchMeUp 平均每題 0.79 美元的花費，自建內部評測題可能降到每題不到一美元。BenchMeUp 平均每題花 36 分鐘。作者對原始碼、規格與預期結果逐一核對，198 題裡有 180 題（91%）全部合格。對照組是作者另跑的通用程式代理 Codex，目標同樣 200 題，只交出 10 題（5%）合格。論文摘要沒交代 Codex 拿到的規格、預算與驗證回路是否和 BenchMeUp 相同，所以 91% 對 5% 不能直接算成驗證回路的功勞。作者也寫，能跑不等於語意正確（arXiv 2610.37283）。怎麼查的 →

概念插圖：上方是大字「BENCHMEUP」，下方是一個有框的兩層展示架；上層左側是一台標有「BENCHMEUP」字樣的紅色筆電，旁邊立著四張畫有灰色橫線的紙，前方斜靠著一張畫著黑色甲蟲狀昆蟲的卡片；下層左側是一台標有「CODEX」字樣的黑色筆電，旁邊立著四張各畫一隻黑色甲蟲狀昆蟲的卡片，前方斜靠著一張畫有灰色橫線的紙。畫面右側邊緣有一位深色頭髮、穿灰褐色外套的人，背對畫面，面向展示架。

出處與查證

這則刊在2026年10月29日的晨報，同一期還有 16 則。查證經過、引句核對與當天缺的資料，記在那一期的本日驗證。

引用這則

SecondSource（2026），〈BenchMeUp 自建題 91% 經作者核對合格〉，https://secondsource.io/research/2026-10-29-1/，取用日期取用。