一篇預印本重算八個代理人基準的公開跑分，說排行榜前段分不開是計分方式造成的。

概念插畫：一張米色桌面被中間一道直立的灰色隔板分成左右兩半。左半邊的支架上立著寫有「PASS-FAIL」的白色牌子，牌前後方並排放著一台紅色筆電和一台灰色筆電；右半邊的支架上立著寫有「CONTINUOUS SCORE」的白色牌子，一台灰色筆電放在右後方，一台紅色筆電放在較前方、靠近桌緣處。每台筆電螢幕上都有一個畫著灰色橫線的對話框，左下角的白色檯面上另有一張紙，紙上有一條標題色塊和兩欄橫線。圖上印著：超過 10 倍預印本作者重跑 Terminal-Bench，過或不過打平的模型，在計分沒記下的某個量上相差。

據論文摘要，SWE-bench Verified 前十名相鄰代理人的差距小於測試本身的誤差，用前十名的名次比較模型時，名次差可能落在雜訊內。三位作者指出兩種失效。第一種是一次執行只記成過或不過。第二種是分數被參考值封頂：ALE-Bench 是演算法競賽題的代理人基準，前十名按競賽分數分得開，改成對人類中位數計分就全部打平。Terminal-Bench 重跑時，過與不過打平的模型，在過或不過計分沒有記下的某個量上相差超過十倍。和現行過或不過的計分相比，作者提的是連續分數。這套計分還沒有其他團隊採用；測試誤差怎麼估、Terminal-Bench 比的是哪個量，摘要都沒寫（arXiv 2611.13541，2026-11-10）。怎麼查的 →

出處與查證

這則刊在2026年11月11日的晨報，同一期還有 15 則。查證經過、引句核對與當天缺的資料，記在那一期的本日驗證。

引用這則

SecondSource（2026），〈一篇預印本重算八個代理人基準的公開跑分，說排行榜前段分不開是計分方式造成的。〉，https://secondsource.io/research/2026-11-11-1/，取用日期取用。