深度 深度專欄 #44 · 2026年10月22日
OpenAI 保證架構沒影響的是可控性，監控真正靠的是不寫思維鏈的推理能力
本篇重點
思維鏈是 AI 模型在給出答案之前，用人話寫出來的推理過程。業界抓 AI 做壞事的主力手段，是派另一個模型去讀這串字。今年九月，OpenAI 為旗艦模型 GPT-6 Astra 發布的系統卡量到，讀 Astra 的思維鏈抓問題比讀前代 GPT-5.6 Sol 難，這叫可監控性下降。系統卡是模型發布時公司出的安全評估文件。外界懷疑原因是 OpenAI 換了叫 looped transformer 的架構。這種架構讓同一組層在輸出前反覆使用，模型不吐字就多算幾圈。
結論先講：OpenAI 否認架構有影響的那句保證，量的是「可控性」，不是監控真正靠的那個量。可控性是模型照指令改寫推理文字的能力。可控性高，監視器讀到的就不一定是真實過程。不過多數模型的可控性接近零，OpenAI 三月的論文也判斷可控性目前不太可能讓監控失效。
另外兩個量是可監控性與無思維鏈推理。可監控性是讀了思維鏈，看不看得出模型在做什麼。無思維鏈推理是不准寫推理過程時，模型還能做多少。監控做法有一個前提。模型每產出一個字只做一輪計算，這一輪叫前向傳遞。一輪能接的推理步數有限，難題只能把中間結果寫出來再讀回去。所以思維鏈讀得到，不是因為模型願意給人看。因此無思維鏈推理才承重，承重指監控真正依賴的量。這個量一升，模型越不必把推理寫出來。系統卡那句保證說，可控性的變化「並非特別由任何架構變更造成」。這句只排除了架構是可控性升高的特別原因。全卡沒有一句說無思維鏈推理為什麼躍升。
兩個量的關係有兩組讀數。跨實驗室看，可控性與無思維鏈推理幾乎無關，相關係數 0.10。這是 Google DeepMind 研究員 Neel Nanda 九月以個人身分在 34 個開放權重模型上量的。開放權重指模型檔可下載、讀得到真正的思維鏈。其中 13 個模型一次都沒照指令改寫推理文字，數據多半是零，只能看方向。同一家公司內部，系統卡卻說 Astra 訓練過程中兩者一起上升。兩個讀數量的範圍不同，並不矛盾。Nanda 的解釋是，可控性深受各家後訓練細節的影響。後訓練是預訓練完成後，用人類回饋與強化學習調整模型行為的那一段。
可監控性的落差，系統卡說大部分來自 Astra 的思維鏈變短，而變短同一週被寫成省錢的賣點。系統卡沒給「大部分」的比例。五項可監控性評測裡，三項在等長比較後落差收斂，兩項仍較差。
還不知道兩件事：looped 架構是否造成無思維鏈推理的躍升，Nanda 寫明未經證實；0.10 在不公開權重的頂尖模型上是否成立。
出現什麼結果就算本篇錯：OpenAI 下一款能力最強那一級模型的系統卡，若對無思維鏈推理能力的變化給出成因或架構歸因句，保證就涵蓋了監控真正依賴的量，本篇的核心判斷作廢。
一、一句保證裡有三個量，先把尺分開
系統卡第 9.2.1 節那一段共四句。前三句說 OpenAI 正在調查可控性升高的原因、可控性在強化學習訓練中特別上升、沒有對思維鏈的直接評分壓力。第四句：「We are also quite confident that changes in CoT controllability are not differentially due to any architectural changes.」接著一句說，這些變化與無思維鏈能力的上升相關。
四句的主詞都是可控性。無思維鏈能力只出現在最後一句，而且是「相關」，不是「成因」。全卡提到架構成因的，只有這一句。Nanda 的一句話說明為什麼承重的是另一個量：「無思維鏈推理變強，很可能代表思維鏈保持可讀的壓力變小。」
第一方在卡外另有範圍更廣的否認：OpenAI 對齊研究員 Tomek Korbak 九月三日在 X 上寫，可監控性下降「來自智力躍升，不是對思維鏈的直接優化壓力，也不是架構變更」。這串推文經 Zvi 九月八日轉錄，原推文未核對。這句涵蓋整體可監控性，但寫在推文，不在放行文件裡。卡上的正式保證只到可控性。承重那個量的成因，第一方沒有在卡上表態。這是本報的讀法。
二、跨實驗室看，可控性不跟著無思維鏈推理走
Nanda 用的評測叫 CoT-Control，是 OpenAI 三月發表的，Korbak 與 Bowen Baker 都是作者：題目後面附一條關於推理過程的指令，判推理軌跡有沒有遵從。Nanda 在 34 個開放權重推理模型上各跑 108 題，對照自製的無思維鏈推理指數。
結果是 Spearman 相關 0.10。Spearman 相關只比兩組排名是否同升同降，0 是無關，1 是完全同向。同一套題目上無思維鏈推理指數能預測答對率，量表沒壞。可控性整體極低：34 個模型裡 13 個一次都沒遵從過，整體遵從率不到 3%。做得到一點的按實驗室聚集，各家讀數見附錄。Nanda 的結論是可控性「深受後訓練細節的影響」：「OpenAI 說 looping 沒有差別性地造成可控性飆升，這完全可能為真，同時 looping 仍差別性地造成無思維鏈推理的飆升。」
限制 Nanda 先寫了：分布近乎全零，在這種分布上算相關係數統計上很薄。本篇只拿方向與量級，不拿小數點。
三、同一家看，兩者卻一起動：兩個設計，兩個答案
系統卡說 Astra 訓練歷程中可控性與無思維鏈能力一起上升。Korbak 同一串推文補了範圍：可控性「在強化學習過程中持續上升，先前的模型沒有這個現象，而且在幾個世代的模型之間與無思維鏈能力強烈相關」。這與 0.10 不衝突。OpenAI 的兩個讀數都是在自家內部隨時間追蹤的縱向比較：系統卡講的是 Astra 一個模型的訓練過程，Korbak 講的是自家幾個世代的模型。兩者都沒有揭露樣本數。Nanda 量的是同一時間比較各家的橫斷面。
調和的假說 Nanda 提了：後訓練相同時，無思維鏈推理較強的模型可控性也較高。要把可控性上的保證延伸到無思維鏈推理，只能靠 OpenAI 自家內部的那個相關。這個相關沒有公開數字，也沒有公開方法。
四、承重的那個量躍升了多少，而且形狀偏斜
Nanda 原本對英國 AI 安全研究所量到的無思維鏈推理躍升存疑，於是用自製題庫重跑，結果「很不幸，複現了」。三個數字：Astra 不寫思維鏈完成推理任務的勝算約是次佳模型 Claude Fable 5.1 的 8.6 倍。勝算是成功次數對失敗次數的比，所以這不是答對率的 8.6 倍。另兩個數字是單次前向傳遞能接的算術步數，以及合成運算任務上的偏斜，見附錄。
偏斜是證據的形狀：變聰明應該全面提升，Astra 的無思維鏈指數卻在合成的序列與平行運算任務上特別高，這正是能替代思維鏈的維度。Zvi Mowshowitz 九月十二日彙整的另三組外部讀數同向，見附錄。
限制有二。英國 AI 安全研究所的無思維鏈原件未見公開版本。該所九月二十八日的部落格把可監控性結果指回 OpenAI 的系統卡。成因未證，looped 架構之說 Nanda 寫明「未經證實」。
五、落差大部分來自更短的思維鏈，而更短同一週是賣點
系統卡給了機制：「可監控性的落差大部分來自 GPT-6 Astra 產出更短的思維鏈，這些思維鏈常省略或弱化監視器需要的證據。」規避測試要求模型刻意躲過監視器。兩款模型給定相同的推理 token 上限時，每一檔 Astra 實際用掉的都比 GPT-5.6 Sol 少。token 是模型處理文字的最小單位。
九月九日，OpenAI 的企業版發布稿把 Astra 寫成「每一塊錢買到更多有用的工作」，機制自述是「被訓練成用更少 token、更少重試完成任務」。Zvi 九月八日寫的是另一面：「用更少的思考 token，因此提供更少的證據。」
同一個工程結果，寫在同一家公司同一週的兩份文件裡，一份給採購看，一份給治理看。兩份文件都沒有提到另一份的說法。這是本報的讀法。
反向證據：謝菲爾德大學等十月二日的論文在開放權重小模型上施加長度壓力，可監控性仍穩健，細節在附錄。所以本節收窄成：長度解釋大部分落差，不是全部。系統卡的五項可監控性評測裡，三項在等長比較後落差收斂，兩項仍較差。這兩項的問題在內容。
六、可控性多半是後訓練的選擇：三個讀數同向
強化學習是後訓練的主要手段，本節兩個詞指的是同一段訓練。OpenAI 三月那篇 CoT-Control 論文寫，可控性「對較大的模型較高，並隨更多強化學習訓練而下降」。六個月後，Astra 的系統卡寫「與先前模型不同」，可控性隨強化學習訓練上升，同一個評測、相反的方向。
九月二十二日系統卡附錄加入同代較小的 GPT-6 Sol。在 750 到 1,250 個 token 的思維鏈長度視窗裡，GPT-6 Sol 遵從指令 23.2%，前代 GPT-5.6 Sol 16.1%，Astra 60.9%。卡寫 Sol「使用與 Astra 相同類型的資料與訓練」，架構未提。同一代、同類訓練，和前代 GPT-5.6 Sol 相比，可控性一個升 7 個百分點，一個升 45 個百分點。
開放權重按實驗室聚集、OpenAI 前後兩代方向相反、同代兩款差距懸殊，三者都與「可控性主要由後訓練決定」相容。三者都不能單獨證明這件事。OpenAI 前後兩代之間也換了架構，這組對照分不開架構與後訓練。GPT-6 Sol 是同代較小的模型，規模本身也有正效應。GPT-6 Sol 的架構未揭露。若與 Astra 同架構，這組差距反而支持 OpenAI，本篇不拿這組差距承重。
七、保證該掛在哪個量上，誰能重跑
三個量，各由誰量、誰能重跑。可控性：OpenAI 自量，英國 AI 安全研究所受邀量了，讀數在卡內，口徑與第六節不同，見附錄。可控性外部能用開放權重重跑。可監控性：OpenAI 用自家度量自量，該研究所的部落格寫「結果請讀該模型的系統卡」，沒有獨立發布。無思維鏈推理：第一方與該研究所的讀數只在卡內，外部公開程式碼與資料的只有一人。
這類保證可以用三個問題檢驗：保證掛在哪個量上，用的是同一家公司內部的縱向比較還是跨公司的橫斷面，外部能不能重跑。Astra 一案，保證掛在可控性上。支撐這項保證的是 OpenAI 自家內部的縱向相關，外部沒有人能重跑。
進行中 ?
本篇在這條趨勢線上：這條線追的是，模型的推理還看不看得懂、由誰來驗證。本篇接在上面樹裡「承重面換手」那一節之後，多加一個問題：驗證用的尺，量的是不是真正支撐結論的那個量。這條線原本的判斷不變。
八、這對誰意味著什麼
- 部署會操作企業系統的 AI 的公司：供應商問卷若只留一欄，三個量會被混成一個。「用更少 token 完成任務」對這類公司有兩面：帳單較低，留下來可供事後稽核的思維鏈也較短。
- 寫採購條款與監管規範的人：可控性多半由後訓練決定，可以寫進條款要求。條款綁在架構上會打空，綁在可量的產出上才有效：對抗條件下的召回率與無思維鏈推理的外部可比讀數。召回率是真有問題的案例裡，被監視器抓到的比例。系統卡上的召回率由 OpenAI 自量。模型被指示規避時，只讀思維鏈的監視器在 WMDP 上不到 11%，在 Monorepo-Bench 上是 0。
方向判斷
OpenAI 在系統卡上的保證只涵蓋可控性。監控真正依賴的是不寫思維鏈的推理能力，這個量為什麼躍升，卡上沒有表態。下一款前沿模型的系統卡，要看卡上有沒有把三個量分開給讀數，以及外部能不能重跑。
之後看哪幾個讀數
下一款 OpenAI 前沿模型的系統卡有沒有把三個量分開給讀數，以及 GPT-6 Sol 的架構揭露。前者已寫成下方第一條推翻條件。
什麼會推翻本篇
第一條的期限跟著下一款 OpenAI 前沿模型的發布走；第二、三條的期限是本報自設的觀察窗。
1. 下一款 OpenAI 前沿模型（Preparedness 任一領域 High 以上）系統卡發布後十四天內：若卡內對無思維鏈能力變化給出成因或架構歸因句，本篇核心判斷作廢。
2. 到 2027 年 3 月 31 日：若任一第三方在至少三款閉源前沿模型上用真實思維鏈量到兩者相關係數 0.5 以上，「兩個量不是同一件事」作廢。
3. 到 2027 年 3 月 31 日：若 OpenAI 公開 Astra 訓練歷程內兩者相關的數字與方法，且相關來自架構而非後訓練，第六節要改寫。
附錄：數字怎麼來的
每個數字的出處
| 數字 | 量什麼 | 誰量 | 哪裡 |
|---|---|---|---|
| 0.10 | 可控性與無思維鏈推理指數的 Spearman 相關，34 個開放權重模型 | Neel Nanda | Alignment Forum 貼文附錄，2026-09-10 |
| 13/34、<3% | 一次都不遵從的模型數、合併遵從率 | 同上 | 同上 |
| 6–13%、11%、0 | GLM-5 系列、一個 DeepSeek 模型、Qwen 3.5 各規格的可控性 | 同上 | 同上 |
| 8.6 倍、7.2 對 4.1 步、40 點（16 倍） | 無思維鏈推理勝算、單次前向序列步數、合成任務偏斜 | 同上 | 同上正文 |
| 60.9%、16.1%、1.7%、23.2% | 750–1,250 token 視窗內遵從思維鏈指令的比例：Astra、GPT-5.6 Sol、GPT-5.5 Thinking、GPT-6 Sol | OpenAI | 系統卡 §9.2.1 與附錄 11.7.1.1（09-22 新增） |
| 93%、48% | 遵從約束的樣本比例：Astra、GPT-5.6 Sol | 英國 AI 安全研究所（在卡內） | 系統卡 UK AISI 段 |
| <11%、0 | 指示規避下只讀思維鏈的監視器召回率：WMDP、Monorepo-Bench | OpenAI | 系統卡 §9.2.2 |
| ~10%→~50%、15–40 分、10 對 35 分 | filler token 四跳推理、無思維鏈 50% 時間長度、思考開關落差 | 三組 LessWrong 作者，Zvi 彙整 | Zvi 2026-09-12 |
| 2.7%、61.9% | Claude Sonnet 4.5 控制思維鏈與控制最終輸出的比例 | OpenAI 等 | arXiv 2603.05706 摘要 |
第二、三節的實驗室細節
開放權重模型裡做得到一點的按實驗室聚集：智譜的 GLM-5 系列 6% 到 13%，一個 DeepSeek 模型 11%，阿里巴巴的 Qwen 3.5 從 9B 到 397B 每一個都是零。
Qwen 3.5 從 9B 到 397B 的每個規格可控性都是零，總參數相差約 44 倍。本報的推論只到這裡：在同一家，規模變大沒有帶來可控性。各規格的無思維鏈指數未見逐一讀數，所以這還不是後訓練假說的反例。
第四節的另兩個數字
單次前向傳遞能做的序列算術步數，Astra 約 7.2 步，次佳 4.1 步。也就是不寫中間過程時，一連串前後相依的算術最多能接幾步。Astra 在合成的序列與平行運算任務上的無思維鏈指數，比在其他任務上高約 40 點。Nanda 換算成勝算，約是 16 倍。
第七節的可控性第三方讀數
英國 AI 安全研究所在卡內量到，Astra 遵從約束 93%，GPT-5.6 Sol 48%。這組數字的口徑與第六節的 60.9%、16.1% 不同，長度視窗與題庫未揭露。
第四節提到的三組外部讀數
Zvi Mowshowitz 九月十二日彙整三篇 LessWrong 貼文：在提示裡塞無意義字元再要求立即作答，Astra 在四跳事實推理上從約 10% 升到約 50%；兩位研究者估 Astra 不寫思維鏈能做完一半任務的時間長度在 15 到 40 分鐘，而兩人先前的中位預測是到 2028 年底不會超過 7 分鐘；關掉思考模式，Astra 只掉 10 分，Fable 5.1 掉 35 分。三組數字皆為貼文自報、經 Zvi 轉錄，原貼未核對。
第五節的反向證據
謝菲爾德大學等十月二日的論文（arXiv 2610.03509）用三種施加長度壓力的方法微調開放權重模型：固定生成預算、逐例長度目標、群組相對長度獎勵。結果忠實性在多數設定下降，主因是訓練後模型一致性變差；可監控性較穩健，模型在思維鏈變短很多時仍會承認介入影響了答案。量的是小模型、用的是介入偵測口徑，與 OpenAI 系統卡的度量不同。以上依論文摘要。
本報算的數
- CoT-Control 論文的完整趨勢句：可控性「對較大的模型較高，並隨更多強化學習訓練、更多測試時算力與更高題目難度而下降」，並判定可控性「目前不太可能成為可監控性的失效模式」。Nanda 對可控性分布的自評原話是「It's a mess.」
- 約 44 倍：Qwen 3.5 最大與最小規格的總參數比，397B 除以 9B。只用來說明同一家內規模差距很大而可控性全零；各規格的無思維鏈指數未見逐一讀數。
- 升 7 個百分點、升 45 個百分點：GPT-6 Sol 23.2% 減 GPT-5.6 Sol 16.1%；Astra 60.9% 減 16.1%。同一長度視窗，卡內數字直減。
口徑說明
- 可控性數字全部來自單一長度視窗（750–1,250 token），卡未給全長度彙總值；英國 AI 安全研究所的 93%、48% 未揭露長度視窗與題庫。
- 系統卡寫可監控性落差「大部分」來自更短思維鏈，沒有比例；「用更少推理 token」沒有百分比。企業版稿的「每題成本低 9% 與 63%」是自報的跨廠成本估計，不是 token 數。
- Nanda 的三項外部讀數（filler token、時間長度、思考開關）經 Zvi 轉錄，原貼未核對。
- Korbak「幾個世代之間強烈相關」一句經 Zvi 九月八日轉錄，附有推文連結，原推文未核對。系統卡九月二十二日、二十九日兩次更新，都沒有改第 9.2.1 節那一段。
別的說法（並列，不進正文）
- 「differentially」的另一種讀法：Nanda 提出，looping 改善預訓練，預訓練變好本來就會讓所有能力一起變好，所以「不是 looping 特別造成的」可以同時誠實且沒有資訊量。本篇兩種讀法都留。
- 架構無罪論：Sebastian Raschka 九月指出層重用本身不遮蔽思維鏈，可見推理痕跡變少是因為需要吐的中間 token 變少。這與第五節「落差大部分來自更短思維鏈」同向，但不回答為什麼變少。
- 系統卡後續更新：九月二十二日修正 HealthBench 誤設定並新增 GPT-6 Sol 與 Luna 附錄；九月二十九日新增以 Astra 驅動的常駐 AI 助手 dots 附錄。兩次更新都沒有改第 9.2.1 節那一段。
- 自我指令可提高可控性：arXiv 2610.23257（十月十六日）主張把約束放進模型本身的思維鏈裡當自我指令，可控性顯著高於放在使用者提示裡，並示範可用於規避監視器。這會讓「開放權重可控性近零」的讀數偏低，但不改變跨實驗室聚集的形狀。
本篇依據的出處
以下由本篇引用的事實紀錄機械彙整，每條是其中一個事實的出處；原件本報是否讀過、還是只讀到轉述，以正文各段的說明為準。
- Alignment Forum — Neel Nanda · 2026-09-10：Astra can do a concerning amount with no chain of thought
- OpenAI · 2026-09-03：GPT-6 Astra System Card
- Don't Worry About the Vase · 2026-09-08：Astra Is Hard to Monitor
- OpenAI · 2026-09-09：GPT-6 Astra: The next generation in intelligence for work
- Ahead of AI · 2026-09-09：GPT-6 Astra, Looped Transformers, and Hidden Reasoning
- Tomek Korbak · 2026-09-03：x.com/tomekkorbak/status/2095596839886274689
- Fortune · 2026-09-03：AI experts worry OpenAI's Astra model may be a dangerous step toward models with opaque reasoning
- Rauno Arike · 2026-09-03：How concerned should we be about Astra's recurrent architecture?
- Don't Worry About the Vase · 2026-09-12：thezvi.substack.com/p/gpt-6-astra-can-do-ambitious-things
- arXiv：Monitoring Monitorability
- OpenAI Blog：openai.com/news/
- arXiv · 2026-10-02：Efficient Reasoning Training Does Not Always Harm CoT Faithfulness and Monitorability