SecondSource一次情報から判断を組み立てる

論文の要旨によると、Surge AI の新しいベンチマーク GDP.xlsx で、一回の試行で採点条件をすべて満たした割合は最高でも 38.3% だった。

コンセプトイラスト:引き出しが2段ある白いキャビネットの上部に枠付きの展示スペースがあり、その上端の黒い帯には左に紫とオレンジのS字形のマークと「SURGE AI」の文字、右に「GDP.XLSX」の文字がある。下の棚には左から、画面に「GEMINI 4 ARGON」と書かれた黒いノートパソコン、多色のGの字と「GOOGLE」の文字が入った白い小さな卓上札、上面に格子が描かれ黒い虫が載った背の高いベージュの紙の束、上面に格子が描かれた低めのれんが色の紙の束が並ぶ。 画像内の文字:38.3% 表計算の最高モデル、一回で全採点条件を満たした割合。20 構成の中央値は 19.3%、Surge AI 論文。。

一回で採点条件をすべて満たす割合はまだ低いが、問題の作成は Surge AI、採点は AI の判定役によるもので、判定役と人間の専門家の一致率は要旨に書かれていない。Surge AI は AI の評価事業を手がける会社で、実際の職場の表計算作業 70 問に 20 のモデル構成を試した。各問を何回走らせたかも、要旨に記載はない。最高点は Google の Gemini 4 Argon で、20 構成の中央値は 19.3% だった。この割合は一回の試行で条件をすべて満たした比率で、内容の 38.3% が正しかったという意味ではない。問題は 13 分野の専門職が書き、採点はファイルを開ける AI の判定役が、専門家の作った採点表に沿って行う。70 問のうち公開されたのは 3 問だけ。Anthropic と OpenAI のモデルの点数は、要旨に載っていない(arXiv 2611.17766、2026-11-13)。 どう確かめたか →

出典と検証

この記事は2026年11月16日の夕刊に掲載されました(同じ号にほか 10 本)。確認の経緯、引用の照合、その日に確認できなかった資料は、その号の本日の検証にあります。

この記事を引用

SecondSource(2026)「論文の要旨によると、Surge AI の新しいベンチマーク GDP.xlsx で、一回の試行で採点条件をすべて満たした割合は最高でも 38.3% だった。」https://secondsource.io/ja/research/2026-11-16-1/ (閲覧日閲覧)