研究とモデル 2026年10月21日

トレンド · 研究ノート 10 月 20 日

CRUX、AI 論文は再び不採択——標本は二本だけ

プリンストン大学 CITP の研究者 Sayash Kapoor 氏は CRUX 評価の続編を出した。Fable 5.1 と GPT-6 Astra が予算 1 万ドルずつで AI 研究論文を一本ずつ書いたが、二本とも元の著者に不採択とされた。 CRUX は、AI エージェントが自由課題の AI 研究をこなせるかを測る評価である。7 月の回は Opus 4.8 と GPT-5.6 Sol を使い、未発表論文二本の研究課題と数千ドルの計算資源を与えた。元の著者は NeurIPS の査読の書式に沿って、二本とも不採択とした。今回、Kapoor 氏は「we observed meaningful improvements to the agents' capabilities at experimental design and resource management」と書き、判断力、確信のキャリブレーション、表現の三つはまだ足りないとした。確信のキャリブレーションとは、口にした確からしさと実際の正確さが合っていることを指す。二本はまた不採択だった（Sayash Kapoor、2026-10-20）。論文は二本だけで、同じチームの評価である。進歩は予算が増えたためかもしれず、今回の予算はモデルごとに 1 万ドルだ。7 月の回の投稿は「thousands of dollars」とだけ書き、本紙の図には約 3,000 ドルと記録している。研究ノートの全文は未読。本紙の読みでは、二回を通じて実験設計と資源の管理は進歩したが、研究の判断という壁はまだ越えていない。今回はモデルを替え予算も増やしたので、進歩がどちらから来たかは分からない。各回の論文は二本だけである。昨夜は arXiv がアクセス回数を制限し、新着論文 50 本はすべて未読のため、今週大きな新しい論文があったかは答えられない。