研究とモデル 2026年10月29日

今週 · プレプリント、arXiv 2610.35971

研究では216設定で最後まで動かすほうが多く解けた

コーディングエージェントの軌跡 147,002 件を調べた研究では、途中の時点で失敗する試行を見分けられなかった。2 万トークンの時点で、同じ問題のどの試行が失敗するかの判別は当て推量と変わらない。224 設定のうち 216 では、途中でやり直すより最後まで動かすほうが多く解け、トークンも少なかった。 論文の要旨によれば、著者の Srinivasan 氏、Li 氏、Menzies 氏、Assunção 氏は 32,406 回の試行を分析した。「様子がおかしければ止めてやり直す」という計算資源の節約規則は、コーディングエージェントではかえって費用を増やしうる。著者は、同じ問題のどの試行が失敗するかを途中で見分けられるかを AUC で測った。0.5 は当て推量と同じである。2 万トークンの時点で、同じ問題の中での AUC は 0.50（区間 0.48〜0.51）だった。学習した規則でやり直しの時機を決めても、ランダムにやり直すより 1.98 ポイント多く解けただけで、上積みは主に簡単な問題でやり直しを無駄にしなかったことから来た。7.5 万トークンを上限とする四つの条件、計 224 の設定のうち 216 で、中断せずに動かし続けるほうが解けた割合が高く、平均のトークン数も少なかった。どのモデルと問題集を使ったかは、要旨に書かれていない（arXiv 2610.35971）。 どう確かめたか →