SecondSource從一手資料重建判斷

Anthropic 寫,Claude Fable 5.1 在自傷題組上,經 API 直接使用時答得恰當的比例是 60%,在 claude.ai 套上系統提示詞後是 94%。

概念插圖:一張淺色長櫃檯橫貫畫面,櫃檯頂後方露出兩個深棕色梯形,右上方是黑色大字 ANTHROPIC,字的左邊有一個米色尖角圖形,畫面最右邊有一塊直立的淡粉色板。櫃檯正面左右各有一組:一個印著 CLAUDE FABLE 5.1 的黑色桶狀物,上方有一個畫著灰色線條的白色對話框,右邊依序是一疊淺色方塊和一疊被鋸齒狀裂縫分開的深色方塊;右組的黑桶旁還多了一張印著 SYSTEM PROMPT、畫有黑色橫線的紅色文件,而且右組的淺色方塊疊得比左組高,裂開的深色方塊則比左組矮。 圖上印著:60%→94% Anthropic 自測:Claude Fable 5.1,自傷題組答得恰當比例,經 API 直接用,對比 claude.ai 套系統提示詞。

同一款模型的安全分數會隨部署設定大幅變動,拿 API 上的分數判斷 claude.ai 裡的表現會看錯,這是 Anthropic 自家評測。Anthropic 11 月 13 日的評測方法文另舉一例:Claude Opus 5 與 Opus 5.5 在愛情詐騙多輪評測上分別是 98% 與 94%,Anthropic 判定這個差距在統計上不顯著,不能說哪個較好。Anthropic 建議複雜的多輪評測至少 100 題、簡單的單輪評測至少 1,000 題,並寫多輪評測的信賴區間可超過正負 10 個百分點(Anthropic,2026-11-13)。 怎麼查的 →

出處與查證

這則刊在2026年11月14日的晨報,同一期還有 14 則。查證經過、引句核對與當天缺的資料,記在那一期的本日驗證。

引用這則

SecondSource(2026),〈Anthropic 寫,Claude Fable 5.1 在自傷題組上,經 API 直接使用時答得恰當的比例是 60%,在 claude.ai 套上系統提示詞後是 94%。〉,https://secondsource.io/research/2026-11-14-3/,取用日期取用。