SecondSource一次情報から判断を組み立てる

振り返り · 本紙 7 月 14 日の判断

合成データに天井があるかについて、本紙は「答えの正誤を自動で判定できるか」で分野を二つに分けた。

左右二つのパネルを並べたコンセプトイラスト。左のパネルでは、正面に MATH と書かれた机の左側に、画面に吹き出しが映るノートパソコンがある。矢印が罫線入りの紙2枚を弧を描いて運び、高い支柱に載った赤いノートパソコンへ届けている。赤いノートパソコンからは下向きの矢印が机の上のごみ箱の上にある虫の描かれた紙を指し、別の矢印が紙2枚を右端の画面が暗い大きめのノートパソコンへ運んでいる。右のパネルでは、正面に WRITING と書かれた机の左側に同じく吹き出しが映るノートパソコンがあり、矢印が罫線入りの紙3枚をまっすぐ右へ運び、画面が暗い小さめのノートパソコンに届けている。 画像内の文字:判定できる分野だけ天井越え、本紙の判断。

本紙の推論:数学やプログラミングのように答えの正誤を自動で判定できる分野で足りないのは信頼できる自動検証器で、文章のように正解のない分野で足りないのは依然として人間のデータだ。合成データとは、AI が生成したデータで次の世代の AI を訓練することを指す。昔からの問題は、新しいモデルが古いモデルの出力だけから学ぶと、古いモデルの能力を超えられないことで、本紙はこれを「生徒は先生を超えられない」と呼ぶ。本紙の 7 月 14 日の読みでは、数学やプログラミングのように判定できる分野では、モデルが正解と不正解の信号で改善し、この天井をすでに越えた。根拠は OpenAI のプロセス監督(process supervision)の論文と、DeepSeek の推論の強化学習の論文である。文章や汎用の能力のように正解のない分野では、天井はまだ残る(カード)。この読みを書き換える場合は二つある。正解のない分野で、別々のチームがそれぞれ「生徒が先生を超える」結果を再現すれば、正解のない分野に天井が残るという判断を改める。もう一つは、検証器の側に穴があった場合である。検証できる答えで報酬を与える強化学習で、検証器が誤った答えを広く正解と判定し、モデルがその穴を突いていたと分かった場合だ。このときは、判定できる分野で天井を越えたという判断から、穴を突いた分を差し引いて見直す。本紙が定めた答え合わせの日は 2027 年 7 月 14 日である。 どう確かめたか →

出典と検証

この記事は2026年11月3日の夕刊に掲載されました(同じ号にほか 4 本)。確認の経緯、引用の照合、その日に確認できなかった資料は、その号の本日の検証にあります。

この記事を引用

SecondSource(2026)「合成データに天井があるかについて、本紙は「答えの正誤を自動で判定できるか」で分野を二つに分けた。」https://secondsource.io/ja/news/2026-11-03-4/ (閲覧日閲覧)