模型觀點 · 證據更新
本篇出自 2026年7月11日 晨報
為什麼翻舊論文:這兩篇的結論到 2026 年還被拿來當論據,傳著就走樣;回原文是為了校準現在的判斷,不是考古。
(一)推理是怎麼「訓」出來的一塊地基 ——《Let's Verify Step by Step》(OpenAI,2023-05,arXiv)。它證明:訓練時獎勵「推理的每一步都對」(過程監督),比只獎勵「最後答案對」更能教會模型解難題,在 MATH 一個代表子集拿到 78%,並開源 80 萬條逐步人工標註。這是訓練端的方法(不是推理端);它算是後來 o1 那條「花訓練算力教模型思考」路線的其中一塊地基 —— 但 o1 實際用的獎勵配方 OpenAI 沒完全公開(見下方「學界動向」的核實)。
(二)別被「新架構屌打 Transformer」的標題騙 ——《Never Train from Scratch》(ICLR 2024,2023-10,arXiv)。這篇跟推理無關,講的是「怎麼公平地比架構」:很多論文宣稱自家新架構(如狀態空間模型 Mamba 一類)電爆 Transformer,但比較時兩邊都是「從零開始訓練」;這篇證明,只要讓兩邊都先好好預訓練一輪,新架構的優勢就大幅縮水甚至消失 —— 意思是,「新架構大勝」的印象,有一部分是「沒讓 Transformer 先熱身」這個實驗設定造出來的假象。用處:2026 年再看到「某新架構全面超越 Transformer」的新聞,先問一句「有沒有控制預訓練這個變數」。
驗證:兩篇今日皆對 arXiv 原文逐字核對命中,數字(78%、80 萬條標註)出自論文本身。更正紀律:上一版把這兩篇並列成「推理敘事的兩篇種子論文」是錯的 —— 第(二)篇是架構評測方法學,與推理無關;已分開講。
只留 email，隨時退訂。這是我們唯一想請你做的事。
Stanford 的「平攤評測法」——用「從題目內容預測難度」壓低可靠評測的成本——今天完成定向查證,找到獨立第二證:ICML 2026 一篇論文用同路線做模型能力外推(scali…
Lambert 一年前的「美版 DeepSeek」宣言——2 年、1 到 5 億美元做出權重（模型訓練完的參數檔案）／數據／代碼全開放的前沿模型——本報完成定向查證:專案存在有媒體…
目前後訓練（模型練完基礎能力後、再教它怎麼答題的階段）的主力方法 RLVR（可驗證獎勵的強化學習：只在數學、程式這類有標準答案的任務上給模型獎勵）有個結構性盲點：它只優化「可以客觀…
SemiAnalysis 在同篇 AMD 實勘裡給出一組第一手工程觀察：2.5 名工程師配上 AI 編程代理，就能完成過去一整組人才做得完的新模型「發布日支援」：代理自動抓設定、跑…