研究とモデル 2026年10月27日

トレンド · プレプリント 10 月 25 日

最良システムで関門 47.7% 通過——数字は自己申告

UCL や UNC などの Haoyu Zhao 氏らは、継続学習を試す試験としてベンチマークを作り、フロンティア LLM エージェントが経験を積んで上達できるかを測った。最良のシステムでも、通過した関門は 47.7% だった。 ベンチマークは人が書いた専門業務 120 題からなり、各題に五つの関門、計 600 の関門がある。一つの関門を通ると次が開き、後の関門では前の関門で得た経験を使う必要がある（arXiv 2610.33956、2026-10-25）。要旨によれば、ハーネスとモデルの 17 通りの組み合わせのうち、最良のシステムが通過した関門は 47.7% で、五つの関門をすべて通った題は 23.3% にとどまる。失敗後に診断のフィードバックを与えて一度だけ修正を許すと、完了率の中央値は 5.3 ポイント上がった。採点は評価用のエージェントが、人の書いた採点基準に沿って代行する。採点役自体の信頼性と 17 通りの内訳は、要旨に書かれていない。前の条のハースストーンの論文と並べたのは本紙の判断で、二本の論文はタスクも指標も違い、互いの裏付けにはならない。2 のエージェントは一つのゲームで環境を作って高い順位を得た。このベンチマークでは前の関門で得た経験を使って次へ進む必要があり、最良のシステムでも通った関門は 47.7% と半分に届かない。 どう確かめたか →