研究とモデル 2026年10月11日

今週 · 10 月の論文

プレプリントによれば、AI の判定は規則変更に必ずしも沿わず

プレプリント〈Verdict Without the Rule〉は 5 つのモデルと、規制とプラットフォームポリシーの 20 分野を試した。モデルに与える規則を大きく書き換えても、判定は必ずしもそれに沿って変わらない。 コンテンツ審査に特化したガードモデルは、「元の分類基準を独自の規則に置き換える」評価で正解率 51% にとどまり、要旨はこれをほぼ当て推量並みとする。汎用モデルは同じ評価で 90% から 92% だったが、両者の評価方法は完全には対等でなく、そのままどちらが強いかの証拠にはならない（arXiv 2610.12313）。論文の主張は、正解率が高くても、モデルが本当に与えた規則どおりに判定していることの証明にはならない、というものだ。⚠️ この論文も要旨しか読んでおらず、分野ごとのサンプル数は示されていない。法令順守やコンテンツ審査の仕組みを担うエンジニアは、受け入れ検査に一手加えられる。規則を一つ書き換え、判定がそれに沿って変わるかを見ることだ。