窄領域訓練的泛化讓 Vinyals 意外，但他押的「模型當評判」正被量測打臉。

本篇出自 2026年8月2日 晨報

昨夜新進的 15 篇論文尚未處理、本欄無單日增量，出一組「說法對學術」的對照。Vinyals 自陳過去一年改變的想法：在數學／寫程式這類答案可自動核對的窄領域上訓練（AI 圈稱 RLVR，可驗證獎勵的強化學習），產生的跨領域泛化「超出我的預期」；但他明說這題未決：只練數學和程式夠不夠誘發通用解題能力，「我不知道，兩邊都有可能」；他押的解方是讓模型自己當評判，打開無法自動判分的領域（Unsupervised Learning 訪談，2026-05-22 錄製）。學術量測剛好打在這個賭注上：一份 2026-07 的評測研究量到，無參考答案場景下 AI 評判系統性給分過寬，補上參考答案後判定翻轉的比例最高達 85%（arXiv 論文，2026-07）；另一份 2026-06 的判分器設計研究量到，以單元測試充當判分器對特定錯誤型的偵測力可以是零，而且錯的判分器給的回饋比沒有回饋更糟（arXiv 論文，2026-06）。並列讀：「寫不出判分器的領域」正是 AI 評判目前最不可靠的領域。賭注不是不能押，是目前的量測不站在它那邊。

同類最新

• 模型觀點 2026年7月29日 3 條來源

  「拿評分表當訓練獎勵，一樣會被模型鑽漏洞」拿到兩篇獨立學術佐證

  訓練 AI 的一條新路線是「rubric 型獎勵」：不另外訓練一個獎勵模型，改用一張評分表替答案打分。Ai2（Allen Institute for AI）研究員、電子報 Inte…

• 模型觀點 2026年7月28日 1 條來源

  新基準 MirrorCode：AI 花 14 小時、251 美元，解掉人類要 2〜17 週的軟體重寫任務

  AI 數據研究機構 Epoch AI 與評測機構 METR 釋出基準 MirrorCode：要求 AI 在看不到原始碼、不能上網的條件下，只靠指令列輸入輸出去「重新實作」一個目標程…

• 模型觀點 2026年7月27日 2 條來源

  Stanford 平攤評測法找到獨立第二證

  Stanford 的「平攤評測法」——用「從題目內容預測難度」壓低可靠評測的成本——今天完成定向查證,找到獨立第二證:ICML 2026 一篇論文用同路線做模型能力外推(scali…

• 模型觀點 2026年7月27日 1 條來源

  Lambert「美版 DeepSeek」宣言查無第二源

  Lambert 一年前的「美版 DeepSeek」宣言——2 年、1 到 5 億美元做出權重（模型訓練完的參數檔案）／數據／代碼全開放的前沿模型——本報完成定向查證:專案存在有媒體…