第一次有人在不交出考題、也不交出模型權重的情況下，替一個商用前沿模型做完外部評測。

本篇出自 2026年8月28日 晨報

Google DeepMind 昨天宣布和外部單位完成了一次雙盲評測（Google DeepMind，08-27）。原本的兩難是： 高風險的外部評測過去只能二選一，要嘛評測方交出題目、模型商可能事先看到考卷，要嘛模型商交出權重、智慧財產可能外洩。這次把兩邊分別鎖進 Google Cloud 的機密運算環境：硬體先證明即將執行的是哪一段程式碼，雙方審過同意才放進各自的資產，跑完只釋出談定的輸出，評測方看不到模型權重，Google 看不到題目。密碼學在這裡負責的是「證明隔離真的有效」，不是雙盲本身的實現手段。參與的還有新加坡官方的 AI 安全機構、開源社群 OpenMined、前沿 AI 稽核組織 AVERI 與基準標準組織 MLCommons；AVERI 的公告補了受測版本是 Gemini 2.5 Flash-Lite（DeepMind 那篇沒給版號）、題目取自 MLCommons 安全基準裡從未使用過的那批（AVERI，08-27）。⚠️ 四個誠實標記：宣布的是方法，沒有給任何評測結果數字；AVERI 自陳是「小規模」量化評估；兩邊公布的合作方名單不一致；「世界第一次」是第一方自己的宣稱。

這對你的意思： 寫評測要求的人多了一個可以援引的作法。AVERI 同一則公告點名，現行幾份規範「正確地要求第三方評測時要顧及安全與隱私，但幾乎沒給怎麼做的指引」，這個試點就是在給做法。可以自己盯的錨： 那份技術報告什麼時候公開、裡面有沒有真的評測分數；沒有分數之前，這只是一次方法演示。

同類最新

• 模型觀點 2026年9月4日 1 條來源

  一篇 OpenAI 論文的承重發現，被同一家公司八個半月後的系統卡對衝掉。

  2025 年 12 月 20 日，OpenAI 發表〈Monitoring Monitorability〉，把「思維鏈好不好監控」做成可量測指標，最關鍵的發現之一逐字是「RL op…

• 模型觀點 2026年9月4日 2 條來源

  三家自證用的那把尺，量的是「重現一個你已經被告知的漏洞」。

  CyberGym 是柏克萊團隊做的公開測驗，收了 1,507 個真實漏洞、涵蓋 188 個開源專案，資料來自 Google 維運的開源模糊測試平台 OSS-Fuzz，所以那些漏洞天…

• 模型觀點 2026年9月3日 1 條來源

  有人把一款部署中的模型權重整個拆開實測，推翻了一個業界常用的省錢假設。

  先解釋：現在的大模型多半是專家混合架構，不是每個字都跑整個大模型，而是把每個字分派給少數幾個專門的子模型，所以模型可以很大而每次只用一小塊算力。工程上常見的省錢做法是「把最不重要的…

• 模型觀點 2026年9月2日 1 條來源

  有人拿心理計量學的工具去拆評測，發現「安全評測」裡有一半在量推理。

  美國艾倫人工智慧研究院 9 月 1 日發表 BenchMIRT，用試題反應理論的多維版本逐題拆一個評測到底在量什麼，這套方法本來是心理測驗用來從答題模式估能力的。它吃了 100 個…