研究とモデル 2026年10月26日

トレンド · プレプリント 10 月 23 日

BF16 整合で Qwen 訓練崩壊せず——Qwen 系のみ

Yijing Ke 氏ら研究者三人のプレプリントによれば、訓練側の BF16 の丸め三か所を推論側に合わせると、Qwen 四モデルの強化学習訓練はいずれも崩壊しなかった。ただし結果は研究の設定でのものだ。 強化学習の事後訓練では、推論エンジンがサンプルを作り、訓練エンジンが重みを更新する。両者の重みは同じで、どちらも BF16 を使う。それでも演算の実装が違うので、両者が計算する確率はずれる。その結果、本来 on-policy であるはずの更新が、実際には off-policy になる。

論文は訓練側で、RoPE、SwiGLU、residual RMSNorm の三か所の中間値を FP32 のまま保ち、出力の段階で初めて BF16 に変換した。推論側と同じやり方である（arXiv 2610.32951、2026-10-23）。推論エンジン、行列積と注意機構の演算カーネル、学習の目的関数には手を加えていない。著者によれば、研究で扱った訓練では、RoPE の一か所を合わせるだけでも足りた。結果は崩壊したかしなかったかの対比で、百分率はない。試したのは Qwen 系だけで、数値は要旨から取った。本紙の読みでは、強化学習の事後訓練が崩壊した場合、疑う箇所の一つは訓練側と推論側の数値の不一致である。