研究與模型 2026年10月24日

趨勢 · 預印本 10 月 22 日

Barron 稱 softmax 標準實作有梯度錯誤

Google 研究員 Jonathan Barron 等三人的預印本寫，標準的 softmax 與交叉熵實作有兩個梯度錯誤，並稱修正後蒸餾時學生模型不再漂離老師模型。 softmax 與交叉熵是分類與語言模型訓練最常用的輸出層與損失函數。摘要點名兩個錯誤。第一個摘要叫 Softmax Collapse：某一個輸出值遠大於其他時，正確答案那一項的梯度被捨入成 0。第二個叫 Softmax Cancellation：學生模型的輸出接近老師模型時，兩者相等本來不該再有調整訊號，標準實作卻仍產生非零梯度（arXiv 2610.31642，2026-10-22）。摘要說的是「standard implementations」，也就是標準實作。摘要沒有量化數字，對大型語言模型預訓練的影響摘要沒寫，論文全文未經查閱。本報的讀法：受影響最直接的是蒸餾與長時間訓練的研究，不等於所有模型訓練都壞了；主流框架有沒有跟著修，要看後續版本。