研究とモデル 2026年10月18日

トレンド · プレプリント 10 月 15 日

Prism-1、選択肢の順で答えが変わると測定——査読を経ず

二本の論文が、エージェントの中で「どのツールを選ぶか、次に何をするか」という選択型の判断を測った。JevAgentHarness は判断を 40 億パラメータの小型モデルに任せ、同じ分布のタスクでエージェントの費用を 81.1%〜89.0% 下げ、成功率の低下は 3 ポイント未満だったとする。Prism-1 は、大型モデルが一回の推論で選択肢を選ぶ現在のやり方では、選択肢の順番を一度入れ替えるだけで答えの 12%〜20% が変わると測った。 二本とも読んだのは要旨だけで、著者の自己申告であり、査読を経ていない（arXiv 2610.21412、2026-10-15；arXiv 2610.22066、2026-10-15）。JevAgentHarness の削減率の比較基準は、要旨に書かれていない。JevAgentHarness はまず確信度の閾値を設け、小型モデルの確信度が十分なときだけ小型モデルに判断を任せる。要旨は逆の場合も書いている。閾値を先に合わせずにすべてを小型モデルに任せると、成功率は 19 ポイント下がり、合わせた後の 3 ポイント未満とは大きく違う。費用の比較の基準は、文脈からは毎回大型モデルを呼ぶ実行環境と読める。Prism-1 は選択肢ごとに別々にスコアを読み出す。これにより、順番を入れ替えても、無関係な選択肢を足しても、選択は変わらない。信頼性のリスクも節約できる費用も測れるが、どちらも一本ずつの論文の自己申告だ。