研究とモデル 2026年10月29日

今週 · プレプリント、arXiv 2610.37283

BenchMeUp が作った問題の91%が著者点検で合格

シュトゥットガルト大学の BenchMeUp は、検証ループを持つエージェントの手順で自然言語の仕様からソフトウェア工学の評価問題を作り、作った 198 問のうち 91% が著者の点検で全項目合格だった。著者が対照に走らせた汎用エージェント Codex は、同じく 200 問を目標にして合格は 5% だった。 著者の Islem Bouzenia 氏と Michael Pradel 氏は、プログラムの修正、不具合の再現、コンパイラの自動調整、静的解析の警告の修正の四種類を各 50 問ずつ設定し、最終的に 198 問を作った（要旨）。論文の要旨によれば、一問あたりの平均費用は 0.79 米ドルだった。本紙の推論：この費用が自社の課題でも保たれるなら、社内の評価問題を自前で作る費用は一問あたり一ドル未満に下がりうる。BenchMeUp は一問に平均 36 分かけた。著者はソースコード、仕様、期待される結果を一つずつ点検し、198 問のうち 180 問（91%）が全項目合格だった。対照は著者が別に走らせた汎用のコーディングエージェント Codex で、同じく 200 問を目標にし、合格は 10 問（5%）だった。Codex に渡した仕様、予算、検証ループが BenchMeUp と同じだったかは要旨に書かれておらず、91% と 5% の差をそのまま検証ループの効果とはみなせない。著者も、動くことは意味が正しいことと同じではないと書いている（arXiv 2610.37283）。 どう確かめたか →