SecondSource從一手資料重建判斷

回顧 · 本報 7 月 14 日判斷

合成資料有沒有天花板,本報按「答案能不能自動判對錯」把領域分成兩半。

概念插圖,分成左右兩格。左格是一張正面寫著 MATH 的桌子,桌上左側有一台螢幕上顯示對話框的筆電,箭頭帶著兩張有橫線的紙,沿弧線往右送到一台架在高桿上的紅色筆電;紅色筆電有一支箭頭向下,指著桌上垃圾桶上方一張畫著蟲子的紙,另有箭頭帶著兩張紙繼續送到右端一台較大的深色螢幕筆電。右格是一張正面寫著 WRITING 的桌子,桌上左側也有一台螢幕上顯示對話框的筆電,箭頭帶著三張有橫線的紙直接往右,送到一台較小的深色螢幕筆電。 圖上印著:能自動判對錯的才越過天花板,本報判斷。

本報推論:數學、程式這類能自動判對錯的領域缺的是能自動檢查答案對錯的可靠驗證器,寫作這類沒有標準答案的領域缺的仍是人類資料。合成資料指用 AI 生成的資料訓練下一代 AI。老問題是新模型只學舊模型產出的資料,能力追不過舊模型,本報叫它「學生超不過老師」。本報 7 月 14 日的讀法是,數學、程式這類答案能自動判對錯的領域,模型靠答對答錯的訊號改進,已越過這個天花板。依據是 OpenAI 的過程監督論文與 DeepSeek 的推理強化學習論文。寫作與通用能力這類沒有標準答案的領域,天花板仍在(卡片)。有兩種情況會改寫這個讀法。沒有標準答案的領域若出現不同團隊各自重做成功的「學生超越老師」,後一半要改。用可驗證答案給獎勵的強化學習,若被證實驗證器普遍把錯答案判成對、被模型鑽了漏洞,前一半的突破就要縮水重算。本報定的對答案日是 2027 年 7 月 14 日。 怎麼查的 →

出處與查證

這則刊在2026年11月3日的晨報,同一期還有 4 則。查證經過、引句核對與當天缺的資料,記在那一期的本日驗證。

引用這則

SecondSource(2026),〈合成資料有沒有天花板,本報按「答案能不能自動判對錯」把領域分成兩半。〉,https://secondsource.io/news/2026-11-03-4/,取用日期取用。