SecondSource從一手資料重建判斷

Y Combinator 執行長 Garry Tan 公開的代理人框架評測發現,同一模型換框架,20 題通過率分不出高下,每解出一題的成本差到兩倍多。

概念插圖:一台立在支架上的黑框顯示器向右上傾斜,螢幕頂端是一條印著白色大寫字樣的黑色橫條。橫條下方一條細黑線橫貫螢幕,線上由左至右依序是標著 QM、內有畫著三條灰線對話框的卡片,一疊矮矮的米色圓片,標著 OPENCLAW、內有同樣對話框的卡片,以及一疊高得多、升到黑色橫條附近的紅色圓片。 圖上印著:約 2.3 倍 每解成本高低差,據 Tan 自報算。

工程主管在這組公開題上要比的是成本與時間,這是 Garry Tan 自報的開發結果,Tan 與 YC 都是部分框架的利害方。框架(harness)是包在模型外面、管工具與流程的那層程式。用 Opus 5.5 跑,YC 的框架 QM 通過率 72.5%、每解 0.19 美元,Claude Code 76.3%、0.22 美元,Hermes Agent 78.8%、0.24 美元,OpenClaw 76.3%、0.44 美元;最貴與最便宜相差約 2.3 倍(本報算術)。每次耗時 QM 與 Claude Code 都是 40.1 秒,OpenClaw 是 99.4 秒。README 寫明各配對的通過率分不出差異,這是公開任務的開發結果,不是保留題的確認測試。README 也自述 YC 投資 Hermes(g-harness-evals)。 怎麼查的 →

出處與查證

這則刊在2026年11月9日的晨報,同一期還有 14 則。查證經過、引句核對與當天缺的資料,記在那一期的本日驗證。

引用這則

SecondSource(2026),〈Y Combinator 執行長 Garry Tan 公開的代理人框架評測發現,同一模型換框架,20 題通過率分不出高下,每解出一題的成本差到兩倍多。〉,https://secondsource.io/research/2026-11-09-1/,取用日期取用。