思考時間を買うか小型モデルに蒸留するか:本紙は仕事の種類で両方が併存すると見る——期日 2027-07-14
思考時間を買うか小型モデルに蒸留するか:本紙は仕事の種類で両方が併存すると見る——期日 2027-07-14
確認予定日 2027-07-14
背景
大規模モデルに回答時に長く考えさせる(テストタイム計算、TTC)とより良い答えが得られ、強いモデルの能力を小型モデルに移す(蒸留)とはるかに安く済むため、どちらの道が勝つかが争点だ。
これはAI予算を高価な思考時間と安い専用小型モデルのどちらに使うかを決め、最先端研究所が思考の上乗せ料金を維持できるかも左右する。
思考時間に賭ける側と蒸留した小型モデルに賭ける側が対立し、本紙は両者が仕事の種類で分かれ、互いを排除しないと読む。
判断
本紙の見立て:二つの道はワークロード(仕事の種類)に応じて併存し分化する。オープンエンドで未知の問題には思考時間を買い、狭い領域で頻度の高い作業は小型モデルに蒸留する(大きなモデルの答えで安い小型モデルを訓練する)。
思考時間の強みは汎化で、見たことのない問題を長く考えることで補える。蒸留の強みは単位コストで、既知の領域では毎回考え直す必要がなく、両者の約17倍のコスト差は現実の商業的な圧力である。
判断時の出典
arXiv
「generating a chain of thought -- a series of…」
arXiv / Google DeepMind + UC Berkeley (Snell, Lee, Xu, Kumar)
「in a FLOPs-matched evaluation, we find that on…」
検証のしかた
2027年7月に検証する。最先端研究所がTTCの料金設定を続け、狭い領域での蒸留の商用事例が増えるという形で、両形態がそれぞれ拡大していれば的中とする。
何が起きれば覆るか
蒸留した小型モデルがオープンエンドな課題で最先端モデルのTTCに追いつき、17倍のコスト差が消えれば、TTCの上乗せ料金は崩れる。