研究とモデル 2026年11月1日

今週 · プレプリント、arXiv 2610.39641

Samyama の著者の検証で正しい判定は 9 件

研究の知識グラフを作る Samyama AI の著者二人が、モデルの判定 41 件を人手で確かめたところ、完全に正しいのは 9 件だった。 この著者らの検証では、「ある論文がある未解決問題を解いた」とモデルに自動判定させた 41 件のうち、完全に正しいのは 9 件にとどまった。著者自身による監査で、ほかのチームによる再現は確認されていない。Madhulatha Mandarapu 氏と Sandeep Kunkunuru 氏は 10 月 29 日、データベース研究と AI 研究の二分野にわたる未解決問題 2,053 件を知識グラフにした。判定 41 件の内訳は、問題が覆されたとする 34 件と、解決されたとする 7 件である。論文と照らした結果は、正しい 9 件、一部正しい 30 件、誤り 2 件だった。著者はより厳しい結果も別に数えた。34 件のうち未解決問題を本当に覆したものはなく、7 件のうち核心の問題を本当に解決したものは 1 件だった。論文のこの部分は、正しい 9 件が二つの区分にどう分かれるかを書いていない。著者の設計上の結論は、状態の変更は証拠を添えた提案にとどめ、自動で適用しないことである（arXiv 2610.39641）。 どう確かめたか →