Y Combinator 執行長 Garry Tan 公開的代理人框架評測發現,同一模型換框架,20 題通過率分不出高下,每解出一題的成本差到兩倍多。

工程主管在這組公開題上要比的是成本與時間,這是 Garry Tan 自報的開發結果,Tan 與 YC 都是部分框架的利害方。框架(harness)是包在模型外面、管工具與流程的那層程式。用 Opus 5.5 跑,YC 的框架 QM 通過率 72.5%、每解 0.19 美元,Claude Code 76.3%、0.22 美元,Hermes Agent 78.8%、0.24 美元,OpenClaw 76.3%、0.44 美元;最貴與最便宜相差約 2.3 倍(本報算術)。每次耗時 QM 與 Claude Code 都是 40.1 秒,OpenClaw 是 99.4 秒。README 寫明各配對的通過率分不出差異,這是公開任務的開發結果,不是保留題的確認測試。README 也自述 YC 投資 Hermes(g-harness-evals)。 怎麼查的 →
出處與查證
這則刊在2026年11月9日的晨報,同一期還有 14 則。查證經過、引句核對與當天缺的資料,記在那一期的本日驗證。
引用這則
SecondSource(2026),〈Y Combinator 執行長 Garry Tan 公開的代理人框架評測發現,同一模型換框架,20 題通過率分不出高下,每解出一題的成本差到兩倍多。〉,https://secondsource.io/research/2026-11-09-1/,取用日期取用。