研究與模型 2026年10月21日

趨勢 · 研究筆記 10 月 20 日

Kapoor 測 AI 代理人寫論文仍被退稿。只有兩篇

普林斯頓 CITP 研究員 Sayash Kapoor 發布 CRUX 評測的後續：Fable 5.1 與 GPT-6 Astra 各寫一篇 AI 研究論文，預算每款 1 萬美元，兩篇仍被原作者退稿。 CRUX 是評估 AI 代理人做開放式 AI 研究的評測。7 月那輪用 Opus 4.8 與 GPT-5.6 Sol，給兩篇未發表論文的研究問題與數千美元算力，原作者依 NeurIPS 審稿模板退了兩篇。這輪 Kapoor 寫「we observed meaningful improvements to the agents' capabilities at experimental design and resource management」，判斷力、信心的校準與表達仍不足。信心的校準指的是說出的把握要和實際準確度相符。兩篇再被退（Sayash Kapoor，2026-10-20）。只有兩篇、同一團隊；進步也可能來自預算加大，這輪預算每款 1 萬美元。7 月那輪的推文只寫「thousands of dollars」，本報圖上記為約 3,000 美元。研究筆記全文未經查閱。兩輪下來，實驗設計與資源管理有進步，研究判斷這一關仍沒過。這一輪換了模型也加了預算，進步來自哪一個分不出來。每輪只有兩篇，這是本報的讀法。昨夜 arXiv 限制了本報的存取次數，50 篇新論文都還沒讀，本週有沒有重大新論文答不出。