研究與模型 2026年10月26日

趨勢 · 預印本 10 月 23 日

開源模型換外框 解題率差 44 個百分點。未測閉源模型

新加坡管理大學三位研究者的預印本，同一個開源模型換六種外框跑 SWE-bench Verified，解題率最多差 44 個百分點。 作者是 Lu Zhao、Christopher M. Poskitt、David Lo。研究用 6 個開源外框、3 個輕量開源寫程式模型、100 題 SWE-bench Verified，在同樣的服務、計費與評分條件下跑了 1,800 次，每個組合各跑一次（arXiv 2610.32131，2026-10-23）。換一個模型，外框的排名就跟著變。同屬「由模型自己決定下一步」的外框之間，最省與最耗的兩個，每解一題計費的 token 差到 20 倍以上。這是作者自報，讀數出自摘要，沒有測前沿閉源模型。本報的讀法：排行榜上的分數量的是模型與外框這一組搭配，不能全算在模型頭上。