研究與模型 2026年10月29日

本週 · 預印本，arXiv 2610.35971

研究：代理跑到 2 萬 token 仍難料成敗

一項 147,002 條程式代理軌跡的研究量到，代理跑到 2 萬 token 時還看不出這次會不會失敗，準度跟擲硬幣一樣；224 組配置裡有 216 組，一路跑完比中途重來解更多題、花更少 token。 據論文摘要，作者 Srinivasan、Li、Menzies 與 Assunção 分析了 32,406 次嘗試。給程式代理設「苗頭不對就停掉重來」的省算力規則，可能反而多花錢。作者用 AUC 衡量能不能在中途分辨同一題的哪幾次嘗試會失敗，0.5 等於亂猜；跑到 2 萬 token 時，同一題內的 AUC 是 0.50（區間 0.48 到 0.51）。用學出來的規則決定何時重來，只比隨機重來多解 1.98 個百分點，增益主要來自沒在簡單題上浪費重來次數。在 7.5 萬 token 上限的四種設定、共 224 組配置中，有 216 組是不中斷、繼續跑的解題率更高，平均 token 也更少。論文摘要沒交代用了哪些模型與題庫（arXiv 2610.35971）。 怎麼查的 →