正解が一意でない領域で「生徒が教師を超える」を再現する独立チームは2組未満にとどまる——期日 2027-07-14

合成データとは、AIが生成し、別のモデルの訓練に使うデータのことだ。データを作る側を教師モデル、そのデータで学ぶ側を生徒モデルと呼ぶ。このカードで扱うのは、計算結果やコードの実行ほど正誤を確かめやすくない、文章作成や自由形式の推論である。

そのデータで訓練された生徒モデルが、名前の明らかなベンチマークで教師モデルを上回り、独立したチームが結果を再現できるかを問う。

2027年7月14日までに、こうした領域で合成データから学んだ生徒モデルが教師モデルを上回った結果を、名前の明らかなベンチマークで再現する独立チームは2組未満にとどまる、と本紙は予測する。実現する確率の見積もりは50%。

この予測を記録した時点では、該当する再現例がすでにあるかを確認していない。期限時点のチーム数で確かめる予測であり、現在そのような事例がないと断定するものではない。

50%という見積もりは、成立する場合としない場合を同じ確率と見ていることを意味する。元の条件は同じ組織の同じ論文内の比較実験を除くが、それ以外の独立性の境界や対象とするベンチマークの範囲、予測の記録より前の事例を数に含めるかどうかは詳しく定めていない。これらは判定時に明確にする必要がある。新しいベンチマークによって、正誤を検証できる領域とできない領域の分類に共通の理解がなくなった場合は、元の条件に従って判定対象外とする。

この判断のもとになった原文は、まだ開いて確かめられるリンクとして載せていません。

公開論文や技術報告を調べ、文章作成や自由形式の推論など正解が一意に決まらない領域で、合成データから学んだ生徒モデルが、名前の明らかなベンチマークで教師モデルを上回った結果を独立した2組以上のチームが再現しているかを確認する。同じ組織の同じ論文内の比較実験は、独立した再現に数えない。2組未満なら的中、2組以上なら不的中とする。

何が起きれば覆るか

独立した2組以上のチームによる再現が成立すれば、こうした領域では合成データによる学習に限界があるという見方を覆す。