研究とモデル 2026年10月27日

トレンド · プレプリント 10 月 23 日

Zhang 氏ら、ハーネス順位はモデル次第——根拠は一本

Shao Zhang 氏、Hangfan Zhang 氏らのプレプリントは、汎用コーディングエージェントのハーネス 4 種とモデル 4 種、ベンチマーク 6 種で計 52,168 件の実行記録を測り、ハーネスの順位は下で動くモデルとベンチマークによって変わると報告した。 試した汎用ハーネスは OpenCode、Codex CLI、Pi CLI、DeepAgents である（arXiv 2610.32483、2026-10-23）。要旨によれば、モデルをまたいだ成績では OpenCode が首位だったが、すべてのモデルとベンチマークで最良のハーネスはなかった。タスクのスコアが高い組み合わせでも、有効完了率が高いとは限らない。有効完了率は著者が独自に定めた指標で、エージェントが正常に走り終え、採点できる結果を出したかを測る。要旨が名前を挙げるモデルは四つのうち DeepSeek V4 Flash Preview だけで、スコアも載っていない。10 月 23 日にはシンガポール経営大学のチームの別のプレプリントが、同じオープンソースモデルのハーネスを六種類に替えて SWE-bench Verified を解かせ、解決率が最大 44 ポイント違うと測っている（arXiv 2610.32131、2026-10-23）。今回の論文は同じ命題を 52,168 件の記録に広げた。本紙の読みでは、ハーネスだけの順位はモデルを替えると入れ替わりうるので、エージェントのランキングにはどのモデルとどのハーネスの組み合わせかの明記が要る。 どう確かめたか →