模型觀點 · 本週 (原文未載明確發布日,本報只能確認為 2026 年 7 月;07-27 經轉評收錄)
本篇出自 2026年7月28日 晨報
AI 數據研究機構 Epoch AI 與評測機構 METR 釋出基準 MirrorCode:要求 AI 在看不到原始碼、不能上網的條件下,只靠指令列輸入輸出去「重新實作」一個目標程式。結果:Opus 4.7 以 14 小時、251 美元推論成本解掉一項兩家機構估計人類需 2〜17 週的任務;25 個目標程式中 17 個至少一次滿分,但 8 個從未被完美解掉——最難的是 Python 檢查工具 ruff 這類大型真實軟體。作者稱一年前的領先模型約只能拿 30% 分數、且僅限行事曆工具這類簡單程式(Import AI #466,07-27)。驗證: 一手為兩家評測機構的公開發布,本報經轉引收錄。判斷更新: 「AI 能自主完成週級軟體任務」從個案軼事有了系統性量測;與今日核心第 2 則同框看,長時程能力的量測與長時程風險的管控,正是同一條時間線的兩端。要決定 AI code agent 能不能接手重寫,這份分佈可以分規模看:邊界清楚的小型工具類任務已有系統性證據支撐;至於 ruff 這種大型真實軟體,25 個目標裡有 8 個至今無人完美解出,先別排進關鍵路徑。
只留 email,隨時退訂。這是我們唯一想請你做的事。
Stanford 的「平攤評測法」——用「從題目內容預測難度」壓低可靠評測的成本——今天完成定向查證,找到獨立第二證:ICML 2026 一篇論文用同路線做模型能力外推(scali…
Lambert 一年前的「美版 DeepSeek」宣言——2 年、1 到 5 億美元做出權重(模型訓練完的參數檔案)/數據/代碼全開放的前沿模型——本報完成定向查證:專案存在有媒體…
目前後訓練(模型練完基礎能力後、再教它怎麼答題的階段)的主力方法 RLVR(可驗證獎勵的強化學習:只在數學、程式這類有標準答案的任務上給模型獎勵)有個結構性盲點:它只優化「可以客觀…
SemiAnalysis 在同篇 AMD 實勘裡給出一組第一手工程觀察:2.5 名工程師配上 AI 編程代理,就能完成過去一整組人才做得完的新模型「發布日支援」:代理自動抓設定、跑…