研究とモデル 2026年10月24日

トレンド · プレプリント 10 月 22 日

Barron 氏らによれば、softmax 実装に勾配の誤り

Google の研究者 Jonathan Barron 氏ら三人のプレプリントによれば、標準的な softmax と交差エントロピーの実装には勾配の誤りが二つあり、直すと、蒸留で生徒モデルが教師モデルと一致したあとも勾配が出続ける問題がなくなる。 softmax と交差エントロピーは、分類と言語モデルの訓練で最もよく使われる出力層と損失関数である。要旨は誤りを二つ挙げる。一つ目を要旨は Softmax Collapse と呼ぶ。ある出力の値がほかより極端に大きいとき、正解の項の勾配が丸められて 0 になる。二つ目は Softmax Cancellation と呼ばれる。生徒モデルの出力が教師モデルの出力に近づき、両者が一致すれば本来は調整の信号が要らなくなるのに、標準的な実装は 0 でない勾配を出し続ける（arXiv 2610.31642、2026-10-22）。要旨が指すのは「standard implementations」、つまり標準的な実装である。要旨に定量的な数字はなく、大規模言語モデルの事前学習への影響も要旨に書かれていない。論文の全文は未読である。本紙の読みでは、最も直接に影響を受けるのは蒸留と長時間の訓練の研究で、すべてのモデルの訓練が壊れていたという意味ではない。主要なフレームワークが修正に追随するかは、今後の版を見ることになる。