研究とモデル 2026年10月26日

トレンド · プレプリント 10 月 23 日

著者、ハーネスで解決率が最大44ポイント差——自己申告

シンガポール経営大学の研究者三人のプレプリントによれば、同じオープンソースモデルのハーネスを六種類に替えて SWE-bench Verified を解かせると、解決率は最大 44 ポイント違った。 著者は Lu Zhao 氏、Christopher M. Poskitt 氏、David Lo 氏である。ハーネスは、モデルにコードを書かせて動かす周辺の制御ソフトのことだ。オープンソースのハーネス 6 種、軽量のオープンソースのコーディングモデル 3 種、SWE-bench Verified の 100 問を使い、サービス、課金、採点の条件をそろえて 1,800 回走らせた。各組み合わせは一回ずつである（arXiv 2610.32131、2026-10-23）。モデルを替えると、ハーネスの順位も入れ替わる。「次の一手をモデル自身が決める」型のハーネスどうしでも、課金トークンが最も少ないハーネスと最も多いハーネスでは、一問あたりの課金トークンが 20 倍以上違った。著者の自己申告で、数値は要旨から取った。フロンティアのクローズドモデルは試していない。ランキングの点数が測っているのはモデルとハーネスの組み合わせで、点数のすべてをモデルの実力とはみなせない。