論文の要旨によると、Surge AI の新しいベンチマーク GDP.xlsx で、一回の試行で採点条件をすべて満たした割合は最高でも 38.3% だった。

一回で採点条件をすべて満たす割合はまだ低いが、問題の作成は Surge AI、採点は AI の判定役によるもので、判定役と人間の専門家の一致率は要旨に書かれていない。Surge AI は AI の評価事業を手がける会社で、実際の職場の表計算作業 70 問に 20 のモデル構成を試した。各問を何回走らせたかも、要旨に記載はない。最高点は Google の Gemini 4 Argon で、20 構成の中央値は 19.3% だった。この割合は一回の試行で条件をすべて満たした比率で、内容の 38.3% が正しかったという意味ではない。問題は 13 分野の専門職が書き、採点はファイルを開ける AI の判定役が、専門家の作った採点表に沿って行う。70 問のうち公開されたのは 3 問だけ。Anthropic と OpenAI のモデルの点数は、要旨に載っていない(arXiv 2611.17766、2026-11-13)。 どう確かめたか →
出典と検証
この記事は2026年11月16日の夕刊に掲載されました(同じ号にほか 10 本)。確認の経緯、引用の照合、その日に確認できなかった資料は、その号の本日の検証にあります。
この記事を引用
SecondSource(2026)「論文の要旨によると、Surge AI の新しいベンチマーク GDP.xlsx で、一回の試行で採点条件をすべて満たした割合は最高でも 38.3% だった。」https://secondsource.io/ja/research/2026-11-16-1/ (閲覧日閲覧)