SecondSource從一手資料重建判斷

據論文摘要,做 AI 評測業務的 Surge AI 出了新基準 GDP.xlsx,拿 70 題真實職場試算表工作測 20 組模型配置,一次嘗試就滿足全部評分條件的比例最高只有 38.3%。

題目由 Surge AI 出、由 AI 評審打分;AI 評審和人類專家的一致率、每題跑了幾次,摘要都沒寫。最高分是 Google 的 Gemini 4 Argon,20 組配置的中位數是 19.3%。這個比例算的是一次嘗試就全部條件都過,不是答對 38.3% 的內容。題目由 13 個領域的專業人士撰寫,評分由能打開檔案的 AI 評審照專家寫的評分表判定。70 題只公開 3 題。Anthropic 與 OpenAI 的模型各得幾分,摘要沒有列(arXiv 2611.17766,2026-11-13)。 怎麼查的 →

出處與查證

這則刊在2026年11月16日的晨報,同一期還有 10 則。查證經過、引句核對與當天缺的資料,記在那一期的本日驗證。

引用這則

SecondSource(2026),〈據論文摘要,做 AI 評測業務的 Surge AI 出了新基準 GDP.xlsx,拿 70 題真實職場試算表工作測 20 組模型配置,一次嘗試就滿足全部評分條件的比例最高只有 38.3%。〉,https://secondsource.io/research/2026-11-16-1/,取用日期取用。