SecondSource一次情報から判断を組み立てる

あるプレプリントによると、同じニュースの転載が三本あると、一部の小型モデルは虚偽を真実と判定する。

(論文の日付は 11-06)

コンセプトイラスト:二本脚の台に載った大きな白いボードの黒い帯の左に PREPRINT、右に FALSE CLAIMS と書かれ、その下にそれぞれ横線の上に並ぶ上下二段の図がある。上段は角の欠けた紙一枚の右に LLAMA 3.2 3B と書かれた黒い台形があり、その上に吹き出し、右に短い赤い帯があり、下段は同じ紙三枚が横に並んだ右に同じく LLAMA 3.2 3B と書かれた黒い台形と吹き出しがあり、右の赤い帯はボードの右端近くまで長く伸びている。 画像内の文字:0.06→0.71 Llama が虚偽を信じた割合、著者申告。

AI で事実確認をする場合、出典の数はコピーをまとめて数えて初めて意味を持つ。ただし試験対象の多くは小型モデルで、結果は著者の自己申告である。著者は検出器で英語のニュース 20 万本を照合し、18.9% が別の媒体の近似コピーにつながった。知られていない人物についての虚偽を真実と判定した割合は、Llama 3.2 3B では報道一本で 0.06、同じ転載三本で 0.71、phi4 14B ではそれぞれ 0.21 と 0.90 だった。この二つのモデルは、報道がすべて同じ出典から来ていると指示されても、虚偽を信じた。Gemini 2.5 Pro はこの出典の指示に従って判定を変えた。著者は、複数の出典が共謀して虚偽を作る場合は未解決の問題だとも述べている(arXiv 2611.09203、2026-11-06)。次に注目するのは、フロンティアの大規模モデルも転載にだまされるかどうかである。 どう確かめたか →

出典と検証

この記事は2026年11月9日の夕刊に掲載されました(同じ号にほか 14 本)。確認の経緯、引用の照合、その日に確認できなかった資料は、その号の本日の検証にあります。

この記事を引用

SecondSource(2026)「あるプレプリントによると、同じニュースの転載が三本あると、一部の小型モデルは虚偽を真実と判定する。」https://secondsource.io/ja/research/2026-11-09-3/ (閲覧日閲覧)