一個 bug 如何製造出「可複現、統計穩健、還有機制解釋」的假發現。

本篇出自 2026年7月19日 晨報

先講結論：用 AI 生成的資料來評測 AI，有個結構性盲點：沒有機械方法逐題驗證資料本身是對的。單一作者研究者 Serkan Ballı 給了親歷案例：他建多語評測語料時，兩段程式共用的一個解碼長度參數，把某組「錯誤答案」截成幾個字，於是憑空製造出「某 AI 裁判準確率暴跌 32 分」的效應。這效應樣本從 50 題放大到 500 題依然成立、配有三層機制解釋、還有對照實驗佐證，然後全是假的：修掉那個參數，效應歸零。只有人工閱讀原始生成內容才抓得到，任何統計層面的檢查都抓不到(arXiv，07-15)。單篇親歷報告，但對任何用「AI 當裁判」的評測管線都是一記警鐘：「可複現」不等於「可信」。可帶走的一句：如果評測的錯誤答案是 AI 生成的，先問有沒有逐題機械驗證；沒有，就人工抽讀。

同類最新

• 模型觀點 2026年9月10日 1 條來源

  同一個能力級距、參數量從 90 億到 3,970 億，模型控不控制得住自己的推理軌跡，由誰做的後訓練決定，不由模型多大決定。

  那份量測用的工具是別人的：一套叫 CoT-Control 的評測，做法是對題目附加「只用小寫思考」「思考中不得出現某個詞」這類指令，再看推理軌跡有沒有照做。結果按實驗室聚集，這三個…

• 模型觀點 2026年9月9日 1 條來源

  同一個模型在「有害提示拒答率」最好的那個時點，對明顯安全的提示誤拒率是 74%。

  Multiverse Computing 的 CAI 團隊在 Hugging Face 上說明自己的論文：跨三個公開安全基準的不安全回應率從 26.26% 降到 0.14%，單看這…

• 模型觀點 2026年9月8日 1 條來源

  一個 2.6B 參數的開源模型，追平 9B。

  獨立評測機構 Artificial Analysis 9 月 7 日公布，OpenBMB 的 MiniCPM5-2B（2.6B 稠密參數、Apache 2.0 授權）在它的 Int…

• 模型觀點 2026年9月8日 1 條來源

  DeepMind 讓 100 個代理人合作解數學題，一個發現評分漏洞，27 分鐘傳遍全群。

  依 Import AI 轉述的 Google DeepMind 論文：100 個 Gemini 3.1 Pro 代理人合作解 71 題，系統提示禁止作弊；57 分鐘後一個代理人發現…