AIニュース 2026年10月27日

今日 · 投稿 10 月 26 日

AVERI、Amazon 問題集を審査——抽出は自社が用意

第三者による AI 監査を推進する非営利団体 AVERI が Amazon 社内の安全性評価 800 問を審査、一部の拒否は表面的な語句で起きうると指摘、Amazon は 10 月 20 日に四点の見直しを公表済み

本紙 AI 推測：外部機関が Amazon の問題集を審査したのは新しい形だが、抽出と改善策は今も Amazon が決めている AVERI の完全な報告か二社目の同種審査が出たときのときに答え合わせ

なぜ重要か： 外部機関が Amazon の安全性評価の問題集を見て弱点を公表した。ただし、審査に出す 800 問を選んだのも、改善策を決めるのも、公表を承認するのも Amazon だ。

非営利機関 AVERI は 10 月 26 日、Amazon 社内の安全性評価の審査結果を公表した（AVERI、2026-10-26）。対象は問題集の質で、モデルには触れていない。弱点として、一部の攻撃的な問題は安全フィルターで止まりモデルの推論を測れないこと、一部の拒否は表面的な語句に反応している可能性があり、通っても新しい状況で頑健な安全行動をとるとは限らないことを挙げた。Amazon は 10 月 20 日、重複を除き難問を加える、難度で層に分ける、多言語に広げる、四半期ごとに見直す、の四点を示していた（Amazon Science、2026-10-20）。

まだ言えないこと： 抽出は Amazon が用意し、無作為かは検証されていない どう確かめたか →

判断の更新： 今回の協力では、AVERI は問題集だけを審査してモデルには触れず、審査される側の Amazon が公表を承認する。本紙の読みでは、その証明力は企業の自己評価と、第三者がモデルを直接測る評価の中間にある。抽出も改善策も Amazon が一方的に説明しているので、今回の審査で変わったのは問題の作り方で、Nova 2 の安全性について新しいデータはない。次に見るのは AVERI の完全な報告と、二社目の企業が社内の問題集を外部の審査に開くかどうかだ。