研究とモデル 2026年10月18日

トレンド · プレプリント 10 月 9 日

TheoPhysEval、最良は正答率 98%——査読を経ず

TheoPhysEval は、未発表で答えを検証できる研究レベルの理論物理の問題 50 問を集めた。論文によれば、最良のエージェントの正答率は 98% で、1 問あたりの費用は 3 ドル未満だが、エージェントが主導した理論物理の突破はまだない。 論文は複数の機関の著者 34 人が投稿したもので、読んだのは要旨だけ（arXiv 2610.16733、2026-10-09）。論文によれば最良のエージェントは「GPT-6-Astra harnessed in Codex」で、GPT-6-Astra を OpenAI のコード作成エージェント Codex の中で動かし、文献検索と数値計算スクリプトを書くツールを持たせたものだ。ウェブ検索と背景論文を使えなくしても、各エージェントの正答率は少ししか変わらなかった。著者はこれを、文献を相当に記憶していることの表れと解釈する。問題はすべて検証できる答えのある計算型で、開かれた発見ではない。50 問は小さな標本で、単一のソースであり、査読も経ていない。AI for Science の進み具合を測るなら、「問題を解く」ことと「発見する」ことは分けて数える必要がある。