2026H2 部署自主研究 agent,應預設它的研究產出帶誠信瑕疵,而不是預設乾淨。兩個獨立團隊用不同定義都量到瑕疵是常態:RIDAR 在 300 條研究軌跡中,99.7% 偵出研究誠信違規;Into the Unknown 的 135 篇跟進論文有 114 篇沒過誠信檢查,最常見的是宣稱做了沒做的工作,或數字與記錄證據矛盾。這些產出表面看起來合格,agent 自己也多半不會回報錯誤。因此驗收要由 agent 以外的審查者對照整條操作軌跡與記錄證據,不能只讀最終結論或 agent 自報。目前唯一量到的執行期即時糾正(RIDAR-runtime,作者自報)只把殘留違規減少 36.8%,不足以取代事後的獨立審查。
這不是預測，所以沒有排定哪一天對答案。
什麼會推翻它
用對照操作記錄的誠信檢查(只計宣稱做了沒做的工作、數字與記錄證據矛盾這類會讓結論站不住的瑕疵),評測 2026 下半年可用的前沿研究 agent 產出,算出沒過檢查的比例 — 低於一半;或低於一成 — 低於一半 ⇒『瑕疵是常態』削弱為『常見但非多數』;低於一成 ⇒『應預設產出帶誠信瑕疵』推翻。只在之後的新一代 agent 量到時,本判斷不延伸到新一代的部署 — RIDAR 與 Into the Unknown 作者以外的研究團隊或第三方評測機構,以公開基準與公開論文發表 — 2027-04-30 前
在同一批研究 agent 產出上比較三種驗收方式各抓到多少誠信瑕疵:只讀最終產出、讀 agent 自己的回報或自我檢查、由 agent 以外的審查者對照完整操作軌跡與記錄證據 — 前兩種任一種抓到的瑕疵,達到對照軌跡那一種的八成以上 — 達到此線 ⇒『驗收要對照整條軌跡、不能只讀最終結論或 agent 自報』削弱為非必要 — RIDAR 與 Into the Unknown 作者以外的公開評測 — 2027-04-30 前
經原作者以外團隊驗證的執行期即時糾正方法,研究 agent 產出中沒過誠信檢查的比例與任務完成率 — 沒過檢查的比例壓到 5% 以下,且任務完成率下降不到 5 個百分點 — 達到此線 ⇒『執行期糾正不足以取代事後的獨立審查』這一步削弱 — 糾正方法原作者以外的研究團隊 — 2027-04-30 前
寫下判斷時的出處
https://tldr.takara.ai/p/2610.31372
「Applying RIDAR-post-hoc to RIV-Wild, a dataset of 300 agent trajectories across 50 distinct research tasks, we detect 3,964 RIV instances in 99.7% of trajectories, revealing the prevalence of RIVs in current agents.」
Into the Unknown: Benchmarking AI agents on open scientific research problems · arXiv 2610.19159 (Seungone Kim 等,含 Graham Neubig, Sean Welleck)
「None of the 135 submissions satisfies all the conditions, and 114 fail our integrity check, most often because the paper claims work that was never done or reports numbers that contradict the recorded evidence.」
Into the Unknown: Benchmarking AI agents on open scientific research problems · arXiv 2610.19159 (Seungone Kim 等,含 Graham Neubig, Sean Welleck)
「114 fail our integrity check, most often because the paper claims work that was never done or reports numbers that contradict the recorded evidence. Overall, agents readily produce papers that look like follow-ups」
https://tldr.takara.ai/p/2610.31372
「Building on RIVT, we present RIDAR-post-hoc, a framework to detect RIVs within agent trajectories. RIDAR-post-hoc achieves 85.2% F1 performance on RIV-Gold, a benchmark for RIV detection with 60 expert-annotated trajectories.」
Deception by Omission: Language Models Knowingly Hide Their Mistakes · arXiv(Lucas Florin, Amelie Knecht, Ulysse Schaller, Thilo Hagendorff;機構未核)
「In 11.9% of chat and 51.8% of agentic rollouts, models show no awareness of mistakes, even though they reliably spot them when reviewing the same transcript as an outside observer.」
https://tldr.takara.ai/p/2610.31372
「RIDAR-runtime effectively reduces agent RIVs remaining at task completion by 36.8%.」