模型觀點 · 量測結果,2026-07-07
做這份評測的是 Artificial Analysis——一家專門獨立評測各家 AI 模型、業界常引用其排行榜的第三方機構。它出了 120 個真實法律任務(跨 24 個執業領域),規定一個任務要「每個檢核點全部通過」才算過。結果最強的 Fable 5 也只拿 14.2%,次強兩家並列 7.5%;而中國的 GLM-5.2 每個任務的成本只要 Fable 的約 6%,換算下來便宜約 16 倍(轉引自 AINews,2026-07)。看得出來:模型通過「單項」檢查沒問題,但要交出「整份」能用的成品還差很遠——能力過剩、交付短缺,這正是今日主線第 5 點說 harness(那層工作環境)值錢的原因;而成本差 16 倍,預告價格戰會打進律師這種專業服務層。
驗證:這是 Artificial Analysis 公布的榜單,本報引其公開數字,尚未取得逐案原始資料,當方向看。
只留 email,隨時退訂。這是我們唯一想請你做的事。
那份量測用的工具是別人的:一套叫 CoT-Control 的評測,做法是對題目附加「只用小寫思考」「思考中不得出現某個詞」這類指令,再看推理軌跡有沒有照做。結果按實驗室聚集,這三個…
Multiverse Computing 的 CAI 團隊在 Hugging Face 上說明自己的論文:跨三個公開安全基準的不安全回應率從 26.26% 降到 0.14%,單看這…
獨立評測機構 Artificial Analysis 9 月 7 日公布,OpenBMB 的 MiniCPM5-2B(2.6B 稠密參數、Apache 2.0 授權)在它的 Int…
依 Import AI 轉述的 Google DeepMind 論文:100 個 Gemini 3.1 Pro 代理人合作解 71 題,系統提示禁止作弊;57 分鐘後一個代理人發現…