模型觀點 · 量測結果,2026-07-07
本篇出自 2026年7月12日 晨報
做這份評測的是 Artificial Analysis——一家專門獨立評測各家 AI 模型、業界常引用其排行榜的第三方機構。它出了 120 個真實法律任務(跨 24 個執業領域),規定一個任務要「每個檢核點全部通過」才算過。結果最強的 Fable 5 也只拿 14.2%,次強兩家並列 7.5%;而中國的 GLM-5.2 每個任務的成本只要 Fable 的約 6%,換算下來便宜約 16 倍(轉引自 AINews,2026-07)。看得出來:模型通過「單項」檢查沒問題,但要交出「整份」能用的成品還差很遠——能力過剩、交付短缺,這正是今日主線第 5 點說 harness(那層工作環境)值錢的原因;而成本差 16 倍,預告價格戰會打進律師這種專業服務層。
驗證:這是 Artificial Analysis 公布的榜單,本報引其公開數字,尚未取得逐案原始資料,當方向看。
只留 email,隨時退訂。這是我們唯一想請你做的事。
Stanford 的「平攤評測法」——用「從題目內容預測難度」壓低可靠評測的成本——今天完成定向查證,找到獨立第二證:ICML 2026 一篇論文用同路線做模型能力外推(scali…
Lambert 一年前的「美版 DeepSeek」宣言——2 年、1 到 5 億美元做出權重(模型訓練完的參數檔案)/數據/代碼全開放的前沿模型——本報完成定向查證:專案存在有媒體…
目前後訓練(模型練完基礎能力後、再教它怎麼答題的階段)的主力方法 RLVR(可驗證獎勵的強化學習:只在數學、程式這類有標準答案的任務上給模型獎勵)有個結構性盲點:它只優化「可以客觀…
SemiAnalysis 在同篇 AMD 實勘裡給出一組第一手工程觀察:2.5 名工程師配上 AI 編程代理,就能完成過去一整組人才做得完的新模型「發布日支援」:代理自動抓設定、跑…