研究とモデル 2026年8月28日

今週 · 公開日 8 月 27 日

試験問題も、モデルの重みも渡さないまま、商用のフロンティアモデルの外部評価をやり切った例が初めて出た。

Google DeepMind は昨日、外部の機関と二重盲検の評価を終えたと発表した（Google DeepMind、08-27）。もともとの板挟みはこうだった。 危険度の高い外部評価は、これまで二つに一つしかなかった。評価する側が問題を渡せば、モデルの提供元が先に答案を見られるかもしれない。モデルの提供元が重みを渡せば、知的財産が漏れるかもしれない。今回は両者をそれぞれ Google Cloud の機密計算の環境へ封じ込めた。 ハードウェアが、これから実行されるのはどのコードかを先に証明し、双方が確認して合意したうえで各自の資産を入れる。走り終えたら、取り決めた出力だけを外へ出す。評価する側はモデルの重みを見られず、Google は問題を見られない。 ここで暗号技術が担うのは「隔離が本当に効いていることの証明」であって、二重盲検そのものの実現手段ではない。参加したのは、シンガポール政府の AI 安全機関、オープンソースの共同体 OpenMined、フロンティア AI の監査組織 AVERI、ベンチマークの標準化団体 MLCommons になる。AVERI の告知は、受けたのが Gemini 2.5 Flash-Lite であること（DeepMind の記事に版の番号はない）、問題が MLCommons の安全ベンチマークのうち一度も使われていない一群から取られたことを補っている（AVERI、08-27）。⚠️ 正直な印を四つ。発表されたのは方法であって、評価の結果の数字は一つも出ていない。AVERI 自身は「小規模」な定量評価だと述べている。双方が公表した協力先の名簿は一致しない。「世界初」は当事者自身の主張になる。