研究與模型 2026年9月4日

趨勢觀察 · 原論文 2025 年 6 月／後繼論文 2026

三家自證用的那把尺，量的是「重現一個你已經被告知的漏洞」。

CyberGym 是柏克萊團隊做的公開測驗，收了 1,507 個真實漏洞、涵蓋 188 個開源專案，資料來自 Google 維運的開源模糊測試平台 OSS-Fuzz，所以那些漏洞天然是已知且有紀錄的。任務定義逐字是模型要產生一個能重現該漏洞的概念驗證測試，而它拿到的只有該漏洞的文字描述以及對應的程式碼庫。該論文自報 2025 年最好的組合只達到約 20% 成功率；一年之內兩家前沿廠自報的分數跳到 85.6 與 86.2，而兩家都沒公布測的是哪個難度級距或哪個子集，也沒有第三方複現過任何一個分數（CyberGym，2025-06）。最有訊息量的是同一群作者的後繼論文開場自陳：現有對 AI 系統的資安評測未能涵蓋真實世界漏洞發掘與修補的端到端生命週期（CyberGym-E2E，2026）。可以直接帶走的動作：看到任何資安測驗分數，先問「這個測驗給模型什麼、要模型做什麼」。