SecondSource一次情報から判断を組み立てる

Anthropic によると、Claude Fable 5.1 が自傷の問題集で適切に答えた割合は、API から直接使うと 60%、claude.ai のシステムプロンプトを付けると 94% だった。

コンセプトイラスト:淡い色の長いカウンターが画面を横切り、天板の奥から濃い茶色の台形が二つのぞき、右上には黒い大きな文字 ANTHROPIC とその左にベージュの尖った図形、右端には縦長の淡いピンクのパネルがある。カウンター前面には左右二組が並び、それぞれ CLAUDE FABLE 5.1 と書かれた黒い桶状の物体の上に灰色の線が入った白い吹き出し、その右に淡い色のブロックの山と、ジグザグの割れ目で分かれた濃い色のブロックの山があり、右の組では桶の隣に SYSTEM PROMPT と書かれ黒い線が入った赤い書類も置かれ、淡いブロックの山は左の組より高く、割れた濃いブロックの山は左の組より低い。 画像内の文字:60%→94% Anthropic 自社評価:Claude Fable 5.1、自傷問題集の適切回答率、API と claude.ai のシステムプロンプト付き。

同じモデルの安全性の点数は配備の設定で大きく動き、API での点数から claude.ai での振る舞いを判断すると見誤る。評価は Anthropic が自社で行ったものだ。Anthropic は 11 月 13 日の評価方法の記事でもう一つの例を挙げた。恋愛詐欺の多ターン評価で、Claude Opus 5 は 98%、Opus 5.5 は 94% だったが、Anthropic はこの差が統計的に有意ではなく、どちらが優れているとは言えないと判定した。Anthropic は、複雑な多ターン評価には少なくとも 100 問、簡単な単ターン評価には少なくとも 1,000 問を勧め、多ターン評価の信頼区間はプラスマイナス 10 ポイントを超えうると書いた(Anthropic、2026-11-13)。 どう確かめたか →

出典と検証

この記事は2026年11月14日の夕刊に掲載されました(同じ号にほか 14 本)。確認の経緯、引用の照合、その日に確認できなかった資料は、その号の本日の検証にあります。

この記事を引用

SecondSource(2026)「Anthropic によると、Claude Fable 5.1 が自傷の問題集で適切に答えた割合は、API から直接使うと 60%、claude.ai のシステムプロンプトを付けると 94% だった。」https://secondsource.io/ja/research/2026-11-14-3/ (閲覧日閲覧)