SecondSource從一手資料重建判斷

趨勢 · 預印本 10 月 25 日

Zhao 等測代理人最佳過 47.7%。評分由代理人代評

UCL、UNC 等機構的 Haoyu Zhao 等人在預印本「持續學習考試」量前沿 LLM 代理人能不能從經驗累積進步,最好的系統通過 47.7% 的關卡。 基準有 120 題人寫的專業任務,每題五關、共 600 關,必須過一關才解鎖下一關,後關要用前關累積的經驗(arXiv 2610.33956,2026-10-25)。據摘要,跨 17 組外框與模型的搭配,最好的系統通過 47.7% 的關卡,五關全過的題目只占 23.3%;失敗後給診斷回饋並允許修一次,完成率中位數多 5.3 個百分點。評分由評估代理人依人寫的評分準則代評,論文摘要沒交代評分器本身多可靠,也沒列 17 組是哪些。與第 2 則並排是本報的安排,兩篇任務與指標都不同,不能互證。第 2 則的代理人在單一遊戲裡靠建環境拿到高名次,這一篇的代理人直接從經驗累積,在這個基準上過不了一半的關卡。 怎麼查的 →

概念插圖:從禮堂一排排座椅後方望向舞台,舞台上的大螢幕畫著五扇並排的門,左邊兩扇敞開,中間一扇紅門關著,門前地上放著一台筆電,螢幕上有對話框圖示,右邊兩扇米色門關著。舞台右側站著一名穿深色長大衣、手持小型裝置的人,正望向螢幕,右上方掛著兩塊分別寫著「UCL」和「UNC」的黑色牌子。

出處與查證

這則刊在2026年10月27日的晨報,同一期還有 12 則。查證經過、引句核對與當天缺的資料,記在那一期的本日驗證。

引用這則

SecondSource(2026),〈Zhao 等測代理人最佳過 47.7%。評分由代理人代評〉,https://secondsource.io/research/2026-10-27-3/,取用日期取用。