SecondSource一次情報から判断を組み立てる

Mollick 氏の集計:AI ベンチマーク 173 件の 63% で報告上の最高点が 85% に届いたが、第三者の点数だけでは 24% だった

コンセプトイラスト:右側の大きな手がスマートフォンを横向きに持ち、画面には一本の床線の上に物が並んでいる。左から、灰色の線が入った吹き出しを画面に映した開いたノートパソコン、高く積まれた白い板の束、それよりずっと低い赤い板の束、そして黒い服を着て名札を首から下げ、罫線入りの紙を挟んだクリップボードを持つ長い黒髪の人物で、その上にあるSATBENCHと書かれた長方形のラベルからは、白い束の上端すぐ右の小さな点まで細い線が伸びている。 画像内の文字:63% vs 24% ベンチマークで最高点が 85% に届いた割合、ラボの報告を含む場合と第三者の点数のみ、Mollick 氏の集計。

ペンシルベニア大学ウォートン校の Ethan Mollick 教授は 11 月 14 日、SatBench を公開した。各 AI ラボが 2023 年以降の発表文で引いた 173 件のベンチマークについて、どれだけ飽和したかを集計したものである(SatBench、2026-11-14)。85% に届いたベンチマークのうち四分の三は、最初に届いたのがラボ自身の発表文だった。第三者が出した点数だけで数えると、173 件のうち届いたのは 24% にとどまる。

SatBench は「報告された最高の AI の点数が 85% に達した」ベンチマークを飽和したものと数え、173 件のうち 109 件、63% が該当した。Mollick 氏が X で挙げた数字も同じである(Ethan Mollick、2026-11-14)。

第三者が独自に出した点数だけで数えると、この比率は 24% になる。SatBench の説明文書によると、85% に届いたベンチマークのうち四分の三は、最初に 85% を超えたのがラボ自身の発表文の中だった。説明文書はまた、ラボが自ら報告した点数には、異なるハーネス、ツールの使用、複数回の試行の最高値が混じっていると書く。

新しいベンチマークが 85% を超えるまでの時間は短くなっている。公開から一年以内に 85% に届いた比率は、2023 年に公開されたベンチマークで 17%、2024 年で 30%、2025 年で 43% だった。2025 年に公開されたものには、まだ公開から一年に満たないものがあり、この年の比率は確定していない。

まだ言えないこと: 85% の基準と対象に入れる条件は、どちらも Mollick 氏が独自に決めた どう確かめたか →

次に注目するのは、同じ公開データで基準を変えるか、独立した点数だけで計算し直す人が出るか、そしてラボが次のモデルの発表文で引くベンチマークのうち、2026 年に新しく出たものがどれだけを占めるかである。

出典と検証

この記事は2026年11月15日の夕刊に掲載されました(同じ号にほか 9 本)。確認の経緯、引用の照合、その日に確認できなかった資料は、その号の本日の検証にあります。

この記事を引用

SecondSource(2026)「Mollick 氏の集計:AI ベンチマーク 173 件の 63% で報告上の最高点が 85% に届いたが、第三者の点数だけでは 24% だった」https://secondsource.io/ja/news/2026-11-15-2/ (閲覧日閲覧)