SecondSource從一手資料重建判斷

預印本發現,寫程式代理常在解對問題後停不下來,1% 到 8% 的案例因此把對的修補改壞。

概念插圖:一條橫線上用曬衣夾掛著兩塊面板,每塊頂部都是寫著 PREPRINT 的黑色標題列,左下方有一台筆電,右側是一張寫著 PATCH 的文件,文件上有灰色文字線條和一個紅色色塊。左面板的筆電螢幕裡有一個畫著兩條灰線的小對話泡泡,紅色色塊上沒有圖案;右面板的底色是淺褐色,筆電上方冒出一個灰線較多的較大對話泡泡,筆電和文件之間堆著一大疊畫有灰線的小視窗卡片,略微傾斜的紅色色塊上畫著一隻黑色蟲子,還有一道白色鋸齒狀裂痕穿過色塊。 圖上印著:1%–8% SWE-bench 測試中,寫程式代理把對的修補又改壞的案例占比,預印本作者自報。

解對之後多跑的步數,大多花在驗證與探索程式庫,這些都是多付的算力,這是作者自報的結果、還沒有別人重做。作者 Musa Cim、Burak Topcu、Mahmut Taylan Kandemir 在 3 個 SWE-bench 資料集上(讓模型修真實開源專案錯誤的測試)測了 5 個模型、兩種代理框架。據摘要,成功的執行裡 38% 到 82% 第一次改原始碼就改對。在 SWE-bench Verified 與 Multilingual 上,解對之後的步數占全部步數的中位數,Qwen3-Coder 是 35% 到 37%,Laguna-XS.2 是 54% 到 60%(arXiv 2611.14960,2026-11-11)。 怎麼查的 →

出處與查證

這則刊在2026年11月14日的晨報,同一期還有 14 則。查證經過、引句核對與當天缺的資料,記在那一期的本日驗證。

引用這則

SecondSource(2026),〈預印本發現,寫程式代理常在解對問題後停不下來,1% 到 8% 的案例因此把對的修補改壞。〉,https://secondsource.io/research/2026-11-14-1/,取用日期取用。