有人拿心理計量學的工具去拆評測，發現「安全評測」裡有一半在量推理。

本篇出自 2026年9月2日 晨報

美國艾倫人工智慧研究院 9 月 1 日發表 BenchMIRT，用試題反應理論的多維版本逐題拆一個評測到底在量什麼，這套方法本來是心理測驗用來從答題模式估能力的。它吃了 100 個模型 × 16 個評測 × 超過 3.4 萬道題，沒有被告知哪個評測量什麼，自己跑出兩個主軸：安全與一般推理。反直覺的是，社會偏見評測 BBQ 與測危險兩用知識的 WMDP 一般被歸在安全類，實際上跟一般推理的關聯強得多，而且推理越強、WMDP 分數越低（因為該評測把「拒答」算成正確）（Hugging Face 部落格，09-01）。跟今日主線第 2 點合看：韓國那個「benchmark 佔 40 分」的意思，是四成的分數由一組連「在量什麼」都還沒被拆清楚的題目決定的。如果你在拿安全類評測的分數選模型：先確認那個評測有沒有把拒答算成答對，否則你選到的可能是最會迴避問題的那個，不是最安全的那個。⚠️ 用來訓練它的模型全部在 2025 年 3 月前發布，對新一代的行為未知。

同類最新

• 模型觀點 2026年9月4日 1 條來源

  一篇 OpenAI 論文的承重發現，被同一家公司八個半月後的系統卡對衝掉。

  2025 年 12 月 20 日，OpenAI 發表〈Monitoring Monitorability〉，把「思維鏈好不好監控」做成可量測指標，最關鍵的發現之一逐字是「RL op…

• 模型觀點 2026年9月4日 2 條來源

  三家自證用的那把尺，量的是「重現一個你已經被告知的漏洞」。

  CyberGym 是柏克萊團隊做的公開測驗，收了 1,507 個真實漏洞、涵蓋 188 個開源專案，資料來自 Google 維運的開源模糊測試平台 OSS-Fuzz，所以那些漏洞天…

• 模型觀點 2026年9月3日 1 條來源

  有人把一款部署中的模型權重整個拆開實測，推翻了一個業界常用的省錢假設。

  先解釋：現在的大模型多半是專家混合架構，不是每個字都跑整個大模型，而是把每個字分派給少數幾個專門的子模型，所以模型可以很大而每次只用一小塊算力。工程上常見的省錢做法是「把最不重要的…

• 模型觀點 2026年8月31日 2 條來源

  普渡大學的 GPU 模擬器對到真晶片 99%：模型跑起來會是什麼行為，不必買到那批機器也量得出來。

  這套模擬器量的是模型實際跑在硬體上時的行為，不是模型本身的分數。普渡大學研究團隊發表論文，提出一套涵蓋 Nvidia Ampere、Hopper、Blackwell 三個世代的週期…