模型觀點 · 今日 (量測爭論,事件日 08-11 至 08-12)
本篇出自 2026年8月13日 晨報
蒸餾是用一個模型(老師)的輸出去訓練另一個模型(學生)。近日有一份論文被廣泛引用來證明中國的開放權重模型蒸餾自 Anthropic 的 Opus。逐段轉述該論文的 @bookwormengr 給出的數字是:要讓一個模型生成與 Opus 連續 16 個 token 完全相同的推理過程,理論上需要的獨立嘗試次數,最容易提取的那個模型約 10 的 10 次方次,其餘落在 10 的 14 到 16 次方;但同樣的事發生在可見的答案上,只需要約 10 萬次。兩個通道相差約十萬倍,而被廣傳成證據的是後者。 轉述者並引論文自述:「這些結果不支持推理過程被逐字記憶」(原文)。⚠️ 最大的問題必須寫在句子裡:論文本體本報沒有拿到,作者、編號、標題一個都不知道,全部數字經一位立場明確的反對方轉述,那個次數也是理論估算而非實際施測。所以結論只能寫成「這份被廣傳的證據,在轉述的數字下撐不住那個結論」,不能寫成「中國模型沒有蒸餾」。可以直接帶走的是三個檢查問題:下次看到「某模型被證明是蒸餾來的」,問:證據落在推理通道還是答案通道?測試集是不是公開的知名基準?有沒有做同一家族內部的對照基線? 第二問的理由是:測試集若公開,「訓練資料裡本來就有這題」就是同樣相容而且更簡單的解釋。還有一個反直覺的提醒:在那份論文的實驗裡,網路上流傳大量「自稱是 Claude」截圖的那個模型,token 層的可提取性反而是乾淨的。講錯自己是誰,和權重被抄,是兩件可以分開發生的事。
只留 email,隨時退訂。這是我們唯一想請你做的事。
2025 年 3 月,OpenAI 的研究者發表過一個發現:讓較弱的模型去讀較強模型的思路鏈——也就是模型給答案前寫下的中間推理文字——抓作弊的效果遠好過只看它最後做了什麼;但如果…
Stella Biderman 是開源 AI 研究組織 EleutherAI 的執行董事。機制可解釋性指的是試圖打開模型內部、找出具體電路與運作機制的研究路線。她的主張有兩層:弱版…
8 月 10 日,Google 團隊在 arXiv 放出 AMIE(Video)——一套以 Gemini 為基礎的多 agent 系統。OSCE(客觀結構式臨床測驗)是醫學教育用的…
執行框架(harness)是包在模型外面的 agent 執行殼,負責上下文管理、工具呼叫與重試策略,Claude Code、Codex 都是。六月時一位機器學習教科書作者做了個小型…