合成資料的天花板按「答案能不能驗證」分裂:數學與程式已突破,其他領域還在——開獎 2027-07-14
合成資料的天花板按「答案能不能驗證」分裂:數學與程式已突破,其他領域還在——開獎 2027-07-14
原定查核日 2027-07-14
背景
這在吵什麼:用 AI 生成的資料訓練下一代 AI(合成資料),長期被認為只能把老師模型的能力轉給學生,超越不了老師。
為何重要:這個天花板若在多數領域都成立,真實資料的稀缺就會卡住整個產業,資料採購成本會結構性上升。
誰在對賭:「合成資料一概有天花板」派(如 Alexandr Wang)vs 本報押天花板只在答案無法自動驗證的領域成立。
判斷
本報判讀:合成資料的天花板按「可驗證性」分裂。數學、程式這類能自動判對錯的領域,模型靠答對或答錯的外部訊號自我改進,已經突破「學生超不過老師」的天花板。
寫作、通用能力這類沒有標準答案的領域,天花板仍在。
這條判斷已由一個更精確、可計數的後續版本接手(到期時各自獨立複現「學生超越老師」的團隊少於兩組),原條保留在此供對照,不刪不改。
寫下判斷時的出處
arXiv (Lightman/Kosaraju/Burda/Edwards/Baker/Lee/Leike/Schulman/Sutskever/Cobbe, OpenAI)
「Our process-supervised model solves 78% of…」
arXiv (DeepSeek-AI, lab 集體署名)
「the reasoning abilities of LLMs can be…」
收據
2027 年 7 月 14 日檢查:答案無法自動驗證的領域,如果沒有出現「合成資料推進前沿」的可複現證據,算說中;出現了就算沒中。
什麼會推翻它
不可驗證的領域出現合成資料訓出的學生超越老師,而且被複現。
或者,用可驗證答案給獎勵的強化學習(RLVR)被證實普遍存在獎勵洩漏(驗證器把錯的答案判成對),可驗證領域的「突破」就要縮水重算。