研究とモデル 2026年11月11日

ある査読前論文は八つのエージェントのベンチマークの公開スコアを計算し直し、ランキング上位の差がつかないのは採点方式のせいだとした。

論文の要旨によると、SWE-bench Verified の上位 10 位では隣り合うエージェントの差がテスト自体の誤差より小さく、上位 10 位の順位でモデルを比べても、順位の差は測定誤差の範囲に収まる可能性がある。三人の著者は二種類の失敗を指摘する。一つ目は、1 回の実行を合格か不合格かだけで記録すること。二つ目は、点数が参照値で頭打ちになることだ。ALE-Bench はアルゴリズムの競技問題を解くエージェントのベンチマークで、上位 10 位は競技の点数では差がつくが、人間の中央値に対する採点に変えるとすべて同点になる。Terminal-Bench を再実行すると、合格・不合格の採点で同点だったモデルどうしに差が出た。合格・不合格の記録には表れないある量で、10 倍以上離れていた。いまの合格・不合格の採点に対し、著者らが提案するのは連続的な点数である。この採点はまだほかのチームに採用されていない。テストの誤差をどう見積もったか、Terminal-Bench で比べたのがどの量かは、要旨に書かれていない（arXiv 2611.13541、2026-11-10）。 どう確かめたか →