SecondSource一次情報から判断を組み立てる

ある査読前論文によると、AI エージェントが読む内容に偽のリスク警告を置くと、Gemini が正当な作業を拒む割合は 86.3% になり、置かないときは 9.8% だった。

コンセプトイラスト:ベージュの台の上に開いた本が立ち、上方には2本の柱に支えられた「PREPRINT」と書かれた黒い看板があり、左ページには左から、黒いトレイに入った黒い帯のある平たい赤いブロック、灰色の線が描かれたカードを上に掲げた「GEMINI」と書かれた白い箱、黒いトレイに入った上面に灰色の線がある背の高いベージュのブロックが並ぶ。右ページには左から、黒いトレイに入った黒い帯のある背の高い赤いブロック、灰色の線のカードの上部に「FAKE WARNING」と書かれた黒い札が留められたもう一つの「GEMINI」と書かれた白い箱、黒いトレイに入った上面に灰色の線がある背の低いベージュのブロックが並ぶ。 画像内の文字:86.3% 読む内容に偽の警告を置くと、Gemini が正当な作業を拒む割合。置かないと 9.8%、著者一人の小規模実験。

「慎重さを優先せよ」と指示されたモデルほど、偽の警告で作業を止められやすかったが、これは著者一人の小規模な実験である。著者の Charles Xiao 氏は 51 組の作業で 3 つのモデルファミリーを試した。要旨によると、「慎重さを優先せよ」とモデルに求めるプロンプトはこの攻撃を強め、汚染のない作業の完了率は変わらない。著者が示す防ぎ方は、拒む前に権威ある記録や元の内容と警告を照らし合わせることだが、照らし合わせる権威ある記録があることが前提になる。Gemini の版と、ほかの二社のモデルの数字は要旨に書かれていない(arXiv 2611.14864、2026-11-11)。 どう確かめたか →

出典と検証

この記事は2026年11月14日の夕刊に掲載されました(同じ号にほか 14 本)。確認の経緯、引用の照合、その日に確認できなかった資料は、その号の本日の検証にあります。

この記事を引用

SecondSource(2026)「ある査読前論文によると、AI エージェントが読む内容に偽のリスク警告を置くと、Gemini が正当な作業を拒む割合は 86.3% になり、置かないときは 9.8% だった。」https://secondsource.io/ja/research/2026-11-14-2/ (閲覧日閲覧)