到 2027 年 7 月,無標準答案領域的「學生超越老師」獨立複現將少於兩組——開獎 2027-07-14
未到期
到 2027 年 7 月,無標準答案領域的「學生超越老師」獨立複現將少於兩組——開獎 2027-07-14
原定查核日 2027-07-14
背景
這在吵什麼:「教師」是產生訓練資料的模型,「學生」是用這些資料學習的另一個模型;用 AI 生成的資料訓練下一代 AI(合成資料),在數學、程式這種對錯可驗證的領域已經有效;爭議在寫作、開放式推理這種沒有標準答案的領域行不行。
為何重要:如果不行,真實資料的稀缺就是整個產業的天花板,資料採購成本會結構性上升。
誰在對賭:認為合成資料可以無限自舉的一派 vs 本報押不可驗證領域有天花板。
判斷
本報判讀:到 2027-07-14,在不可驗證的領域(寫作、開放性推理等),「用合成資料訓出來的學生模型在具名基準上超越教師模型」這件事,不會有兩個以上互相獨立的團隊各自複現。本報信心五成。
這裡五成表示成立與不成立的機率估計相同,並不是強烈押注。原判準排除同一機構同一篇論文的內部比較,但未細定其他獨立性邊界、哪些基準算本領域,或這項判斷寫下之前的案例是否計入;這些需在結算時釐清。若新基準讓可驗證與不可驗證領域的分類失去共識,原判準規定作廢。
寫下判斷時的出處
這張卡寫下判斷時依據的原文,還沒有整理成可以點開核對的連結。
收據
查公開論文與技術報告,看是否有兩組以上獨立團隊(不能是同一機構同一篇論文裡的內部對照)各自複現學生超越教師:少於兩組算說中;兩組以上算沒中,天花板讀法不再成立。
誠實記:本報沒有查證現況是否已有複現案例——這是在到期時查核的計數題。
什麼會推翻它
只要有兩組以上獨立團隊複現成立,不可驗證領域的合成資料天花板讀法就翻轉。