三家自證用的那把尺，量的是「重現一個你已經被告知的漏洞」。

本篇出自 2026年9月4日 晨報

CyberGym 是柏克萊團隊做的公開測驗，收了 1,507 個真實漏洞、涵蓋 188 個開源專案，資料來自 Google 維運的開源模糊測試平台 OSS-Fuzz，所以那些漏洞天然是已知且有紀錄的。任務定義逐字是模型要產生一個能重現該漏洞的概念驗證測試，而它拿到的只有該漏洞的文字描述以及對應的程式碼庫。該論文自報 2025 年最好的組合只達到約 20% 成功率；一年之內兩家前沿廠自報的分數跳到 85.6 與 86.2，而兩家都沒公布測的是哪個難度級距或哪個子集，也沒有第三方複現過任何一個分數（CyberGym，2025-06）。最有訊息量的是同一群作者的後繼論文開場自陳：現有對 AI 系統的資安評測未能涵蓋真實世界漏洞發掘與修補的端到端生命週期（CyberGym-E2E，2026）。可以直接帶走的動作：看到任何資安測驗分數，先問「這個測驗給模型什麼、要模型做什麼」。

同類最新

• 模型觀點 2026年9月4日 1 條來源

  一篇 OpenAI 論文的承重發現，被同一家公司八個半月後的系統卡對衝掉。

  2025 年 12 月 20 日，OpenAI 發表〈Monitoring Monitorability〉，把「思維鏈好不好監控」做成可量測指標，最關鍵的發現之一逐字是「RL op…

• 模型觀點 2026年9月3日 1 條來源

  有人把一款部署中的模型權重整個拆開實測，推翻了一個業界常用的省錢假設。

  先解釋：現在的大模型多半是專家混合架構，不是每個字都跑整個大模型，而是把每個字分派給少數幾個專門的子模型，所以模型可以很大而每次只用一小塊算力。工程上常見的省錢做法是「把最不重要的…

• 模型觀點 2026年9月2日 1 條來源

  有人拿心理計量學的工具去拆評測，發現「安全評測」裡有一半在量推理。

  美國艾倫人工智慧研究院 9 月 1 日發表 BenchMIRT，用試題反應理論的多維版本逐題拆一個評測到底在量什麼，這套方法本來是心理測驗用來從答題模式估能力的。它吃了 100 個…

• 模型觀點 2026年8月31日 2 條來源

  普渡大學的 GPU 模擬器對到真晶片 99%：模型跑起來會是什麼行為，不必買到那批機器也量得出來。

  這套模擬器量的是模型實際跑在硬體上時的行為，不是模型本身的分數。普渡大學研究團隊發表論文，提出一套涵蓋 Nvidia Ampere、Hopper、Blackwell 三個世代的週期…