本報估三成五:會有企業證明拆開換搭配,高難度程式分數只掉不到 3 點——開獎 2027-07-16
本報估三成五:會有企業證明拆開換搭配,高難度程式分數只掉不到 3 點——開獎 2027-07-16
原定查核日 2027-07-16
背景
這在吵什麼:寫程式的 AI 由模型和 harness(包在模型外、指揮它工作的軟體)組成,爭的是兩者能不能像零件一樣拆開換搭配,還是原廠一起訓練的組合效果最好。
為何重要:拆得開,企業就能自由換模型供應商、壓低價格;拆不開,原廠組合在最難的工作上保有溢價。
誰在對賭:零件化派認為拆開換搭配已經在發生;另一派認為在高難度任務上,訓練時就綁在一起的組合仍明顯較強。
判斷
本報判讀:到 2027-07-16,出現至少一個符合門檻的具名企業案例,機率約三成五。
門檻是:在高難度任務上,也就是 SWE-bench Verified(用真實程式錯誤修復來打分的測驗)或同等難度的測驗,把原廠一起訓練的模型加 harness 組合換成拆開的零件組合,分數降幅小於 3 個百分點,並由廠商或第三方公開驗證。
本報寫下這條時沒有查證現在是否已有這種案例,那是到期時要查的。
寫下判斷時的出處
arXiv (John Yang, Jimenez, Wettig, Lieret, Shunyu Yao, Narasimhan, Ofir Press)
「LM agents represent a new category of end users…」
收據
到 2027-07-16 對答案:查廠商官方案例研究、SWE-bench Verified 官方排行榜的歷史紀錄,以及第三方獨立測評報導。
有至少一個符合門檻、經公開驗證的案例算說中。查無符合門檻的案例,或已知案例分數降幅達 3 個百分點以上,算沒中。
若 SWE-bench Verified 或替代測驗在到期前大幅改版,使切換前後分數無法比較,這張卡作廢。
這條改寫自 2026-07-16 一條較籠統的判斷,只取其中最能具體驗證的一條線索。原判斷照原本的判準、在同一天對答案,標準沒有移動。
什麼會推翻它
只要出現一個符合門檻、經公開驗證的案例,「高難度任務上原廠一起訓練的組合有溢價、拆不開」的讀法就被推翻。查無案例,這個讀法維持。