研究とモデル 2026年10月29日

今週 · プレプリント、arXiv 2610.37459

M4Bench八問でスキルパックの上積みは0.024どまり

M4Bench の八問の対照用部分集合では、エージェントの得点の上積みの大半は仕様を完全に書くことから来ていた。実行できる仕様で得点は 0.162 上がり、スキルパックを足しても 0.024 しか上がらず、この上積みは統計的にゼロと区別できない。 論文の要旨によれば、この研究は NeurIPS 2026 のデータセット部門に採択され、著者には MIT の Leo Anthony Celi 氏が含まれ、課題は臨床の電子カルテから作った問題である。八問の対照では、この臨床データの課題でエージェントが上積みした得点の大半は仕様を完全に書いたことから来て、スキルパックの寄与は小さすぎて測れない。ここでの得点は、エージェントの答えと参照解答の部分的な一致度である。八問の対照用の部分集合では、仕様だけでエージェントの得点が 0.162 上がり、スキルパックを重ねても 0.024 しか上がらず、統計的にゼロと区別できない。部分集合は八問しかなく、差が測れないことは差がないと確定したことにはならない。中身が偽物のスキルパックでも、得点はスキルパックなしと同じだった。元の参照 SQL をそのままスキルパックとして渡すと、得点は狙いを定めて書いたスキルパックとほぼ同じだった。別の指標として、厳しい検査をすべて通った回数を見ると、スキルパックありの 280 回の実行では 25 回、なしの 280 回では 13 回だった。どのモデルを使ったか、この差が有意かは、要旨に書かれていない（arXiv 2610.37459）。 どう確かめたか →