買思考時間還是蒸小模型?本報判兩條路依工作類型並存——開獎 2027-07-14
未到期
買思考時間還是蒸小模型?本報判兩條路依工作類型並存——開獎 2027-07-14
原定查核日 2027-07-14
背景
這在吵什麼:讓大模型回答時多想一會兒(test-time compute,TTC)能換到更好的答案,把強模型的本事蒸進小模型(蒸餾)則便宜得多,爭論在哪條路會勝出。
為何重要:這決定 AI 預算該花在昂貴的思考時間,還是便宜的專用小模型,也決定前沿實驗室的思考溢價能不能維持。
誰在對賭:押思考時間的一方與押蒸餾小模型的一方,本報認為兩者依工作類型分流、不互斥。
判斷
本報判讀:兩條路會依工作類型(workload)並存分化:開放性、沒見過的問題花錢買思考時間,窄域、高頻的任務蒸進小模型(用大模型的答案訓練出便宜的小模型)。
思考時間贏在泛化,沒見過的問題靠多想來補。蒸餾贏在單位成本,已知領域不必每次重想,兩者約 17 倍的成本差是真實的商業壓力。
寫下判斷時的出處
arXiv
「generating a chain of thought -- a series of…」
arXiv / Google DeepMind + UC Berkeley (Snell, Lee, Xu, Kumar)
「in a FLOPs-matched evaluation, we find that on…」
收據
2027-07 檢查(到期日 2027-07-14):前沿實驗室是否繼續推出思考時間的定價,窄域蒸餾小模型的商用案例是否增加,兩者都在擴張算說中。
這張卡之後拆成兩條更窄的檢查,一條看三大實驗室的思考型定價,一條數窄域蒸餾的商用案例。本卡仍照原判準在同一天結案。
什麼會推翻它
蒸餾小模型在開放性任務上追平前沿模型花思考時間的表現,抹平約 17 倍的成本差,思考時間的溢價就會崩。