今日 · 貼文 10 月 12 日

8090 測同一模型換外框差 20 個百分點。委託方自報

投資人 Chamath Palihapitiya 委託 8090 做的測試說，同一顆 Claude Fable 5.1 放在 OpenAI 的 Codex 裡解題率 61%，放在 Claude Code 裡 41%。 Claude Code 與 Codex 都是包在模型外面的程式外框，替模型叫工具、管步驟。同一顆模型換一個外框，能解的題就不一樣，所以分數有一部分量到的是外框。測試用 113 道修程式錯誤的任務，7 個模型各搭配 5 種外框測試。另一個模型 GLM 5.3 Flash 也有類似落差，放在表現最好的外框得 59%，最差的得 24%（Chamath Palihapitiya，2026-10-12；8090，2026-10-12）。8090 的文章說，每種組合只跑兩次，9 個百分點以內的差距可能只是雜訊。Fable 5.1 的落差是 20 個百分點，比這個範圍大。這是委託方自己公布的單一測試，沒有第三方重跑。Chamath 與 8090 有商業關係。⚠️ 利益揭露：本報的分析由 Anthropic 的模型協助產生，Claude Code 與 Fable 5.1 都是 Anthropic 的產品。怎麼查的 →

概念插圖：米色桌面上並排放著兩台打開的筆記型電腦，背後是一個淡粉紅色的大圓形；兩台螢幕上方邊框都寫著「FABLE 5.1」，畫面中央各有一個磚橘色對話框，內有三條白色橫線，右側欄則是多條灰色橫線。左邊那台的視窗是深色外框，左上角有三個小圓點，左側有深色側欄，機身底部寫著「CODEX」；右邊那台的視窗頂端是灰色橫條，上面有三個分頁標籤，機身底部寫著「CLAUDE CODE」。

出處與查證

這則刊在2026年10月13日的晨報，同一期還有 13 則。查證經過、引句核對與當天缺的資料，記在那一期的本日驗證。

引用這則

SecondSource（2026），〈8090 測同一模型換外框差 20 個百分點。委託方自報〉，https://secondsource.io/research/2026-10-13-1/，取用日期取用。