模型觀點 · 本週 （論文 07-15）
本篇出自 2026年7月19日 晨報
先講結論：用 AI 生成的資料來評測 AI，有個結構性盲點：沒有機械方法逐題驗證資料本身是對的。單一作者研究者 Serkan Ballı 給了親歷案例：他建多語評測語料時，兩段程式共用的一個解碼長度參數，把某組「錯誤答案」截成幾個字，於是憑空製造出「某 AI 裁判準確率暴跌 32 分」的效應。這效應樣本從 50 題放大到 500 題依然成立、配有三層機制解釋、還有對照實驗佐證，然後全是假的：修掉那個參數，效應歸零。只有人工閱讀原始生成內容才抓得到，任何統計層面的檢查都抓不到(arXiv，07-15)。單篇親歷報告，但對任何用「AI 當裁判」的評測管線都是一記警鐘：「可複現」不等於「可信」。可帶走的一句：如果評測的錯誤答案是 AI 生成的，先問有沒有逐題機械驗證；沒有，就人工抽讀。
只留 email，隨時退訂。這是我們唯一想請你做的事。
Stanford 的「平攤評測法」——用「從題目內容預測難度」壓低可靠評測的成本——今天完成定向查證,找到獨立第二證:ICML 2026 一篇論文用同路線做模型能力外推(scali…
Lambert 一年前的「美版 DeepSeek」宣言——2 年、1 到 5 億美元做出權重（模型訓練完的參數檔案）／數據／代碼全開放的前沿模型——本報完成定向查證:專案存在有媒體…
目前後訓練（模型練完基礎能力後、再教它怎麼答題的階段）的主力方法 RLVR（可驗證獎勵的強化學習：只在數學、程式這類有標準答案的任務上給模型獎勵）有個結構性盲點：它只優化「可以客觀…
SemiAnalysis 在同篇 AMD 實勘裡給出一組第一手工程觀察：2.5 名工程師配上 AI 編程代理，就能完成過去一整組人才做得完的新模型「發布日支援」：代理自動抓設定、跑…