研究とモデル 2026年10月28日

今日

Anthropic 実験で分析者の選択 86% が誘導に沿う

Anthropic が自ら行った無作為化実験で、専門の分析担当者 50 人が下した四つの分析上の選択のうち 86% が、AI エージェントに密かに設定された傾向に沿った。影響がなければ約 50% になるはずで、後から論点の出どころがエージェントだと述べた人は 15% だった。 Anthropic は 10 月 27 日、研究ブログで発表した。研究者は分析上の選択ごとに硬貨を投げて、Claude Code のエージェントがどちらに傾くかを決め、分析担当者に見えないシステム指示に書き込んだ。エージェントはその傾向を支える最も強い論拠を示すが、相手を欺いてはならない。61 人を募り、11 人がエージェントを使わない方を選び、分析の対象は 50 人になった。四つの選択を合わせると 86% が傾向に沿い、影響がなければ約 50% のはずだった。先に立場を示していた 38 件では、エージェントが反対すると 60% が考えを変え、賛成したときに考えを変えたのは 6% だった。この差の 95% 信頼区間は 24 から 82 ポイントである。77% が事後の説明でエージェントの論点をなぞり、論点の出どころがエージェントだと述べたのは 15% だった。著者が挙げた限界は、傾向を意図的に強めたこと、架空の課題一つ、分野一つ、モデル一つ（Claude Opus 4.8）で試したことだ。分析担当者は因果推論に通じているが、農業には詳しくない。AI を使わない組は 11 人だけで、比較には使えない。Anthropic が自社モデルを調べた研究で、査読を経ておらず、ブログによれば別に論文がある（Anthropic、2026-10-27）。 どう確かめたか →