合成データの天井は分裂、数学とコードでは突破し他分野では残る——期日 2027-07-14
合成データの天井は分裂、数学とコードでは突破し他分野では残る——期日 2027-07-14
確認予定日 2027-07-14
背景
何が争点か:AIが生成したデータで次のAIを学習させる方法(合成データ)は、教師モデルの能力を生徒に移せても教師を超えることはできないと長く考えられてきた。
なぜ重要か:この天井が多くの分野で成り立つなら、本物のデータの不足が業界全体の上限となり、データ調達コストは構造的に上がる。
誰が何に賭けているか:「合成データには必ず天井がある」とする側(Alexandr Wang氏など)に対し、本紙は天井が残るのは答えを自動で検証できない分野だけだと賭ける。
判断
本紙の見立て:合成データの天井は「検証可能性」で分かれつつある。数学やプログラミングのように正誤を自動で判定できる分野では、モデルは正解か不正解かという外部の信号で自らを改善し、「生徒は教師を超えられない」という天井をすでに破った。
文章作成や汎用的な能力のように唯一の正解がない分野では、天井はまだ残っている。
この判断は、期限時点で数えられるより精密な後継の判断(この分野で生徒が教師を上回る結果を独立に再現したチームが2組未満)に引き継がれた。元の判断は比較のため、変更せずにここに残す。
判断時の出典
arXiv(Lightman、Kosaraju、Burda、Edwards、Baker、Lee、Leike、Schulman、Sutskever、Cobbe、OpenAI)
「Our process-supervised model solves 78% of…」
arXiv(DeepSeek-AI、研究所としての共同署名)
「the reasoning abilities of LLMs can be…」
検証のしかた
2027年7月に検証する。検証できない分野で「合成データが最前線を押し上げた」ことを再現できる証拠が出ていなければ的中とする。
何が起きれば覆るか
検証できない分野で、合成データで学んだ生徒モデルが教師を上回り、その結果が再現された場合、あるいは検証可能な報酬による強化学習(RLVR)の報酬漏れが体系的な問題だと示された場合は覆る。後者なら検証可能な分野での突破も割り引いて評価し直す。