研究とモデル 2026年10月28日

トレンド · 初出 2026 年 8 月 13 日

主催側の申告で人の方向付けが最も信頼できる再現

Hugging Face と alphaXiv が開いた ICML 2026 のコミュニティ再現では、1,221 人がコーディングエージェントを使って 19 日間で 2,226 本の論文を調べた。主催側は、最も信頼できる結果は人が方向を決めるやり方から出たとした。 原文は 8 月 13 日の公開だ。今日の Epoch の記事と同じ方向の結論なので、ここで取り上げる。Hugging Face はオープンソースのモデルとデータセットを預かる基盤、alphaXiv は論文について議論する場である。参加者 1,221 人はそれぞれコーディングエージェントを使い、7 月 15 日から 8 月 2 日に 6,816 本の再現記録を出した。ICML 2026 の採択論文の約三分の一を扱い、35,908 の主張を一つずつ判定した。2,226 本のうち 1,103 本は少なくとも一つの主張が独立に検証され、496 本は少なくとも一つが反証されるか争われた。両方に当てはまる論文もある。496 本のうち 242 本では、別のチームが同じ主張に逆の判定を出した。スポットライト発表に選ばれた論文の一本では、証明がどの段階で破綻するかが見つかり、主催側が規模を広げてやり直して確かめた。主催側の結論は、最も信頼できる結果は人が方向を決める作業の流れから出たというものだ。人が進路を引き直し、前提を疑い、計算資源を使い切る前に実験の前提の誤りを見抜いた。限界は、主催側の自己申告であること、論文は参加者が選んだこと、判定はオープンウェイトモデル GLM-5.2 が自動で行ったこと、割合は試みられた三分の一の中でしか成り立たないことだ（Hugging Face、2026-08-13）。 どう確かめたか →