今日 · ブログ 10 月 23 日

CoreWeave、差分で重みを入れ替え——第三者の再現なし

CoreWeave の自己申告によれば、同社は強化学習の訓練中に重みを更新するとき、差分だけを送ってその場で入れ替えた。差分は完全な重みファイルの約 0.14% から 0.95% だった。 CoreWeave は GPU の貸し出しに特化したクラウド事業者である。強化学習の訓練ではモデルにサンプルを作らせ続け、重みを更新するたびに、サンプルを作る推論サービスに同期する必要がある。CoreWeave によれば、NVIDIA の Nemotron 3.5 Lightning で測ると、差分は完全な BF16 の重みファイルの約 0.14% から 0.95% だった（CoreWeave、2026-10-23）。コールドスタートとは、推論サービス全体を止めて再起動し、完全な重みを読み込み直すことである。ホットロードとは、推論サービスを再起動せず、差分だけを送ってその場で重みを入れ替えることである。CoreWeave によれば、最速のホットロードは、コールドスタートによる再デプロイの平均より約 15 倍速かった。測定は 4 つのレプリカと GB300 NVL72 のラックで行った。この 15 倍は、ホットロードの最速の一回を、コールドスタートの平均と比べた値である。同じ種類の統計量の比較ではない。単一構成での事業者の自己申告で、第三者の再現はない。どう確かめたか →

概念イラスト：タブレットの画面が左右に分かれ、左側では下に循環矢印のあるサーバーの横に「WEIGHTS」と書かれた背の高い積層ブロックが立ち、そこから矢印が画面の暗いサーバーへ向かい、下部の長い矢印が左へ戻っている。右側では同様のサーバーから出た矢印が「DELTA」の札が付いた赤い薄板を通り、一層だけ赤い積層ブロックへ向かう。そのブロックは灰色の短い部材で、画面に吹き出しアイコンを映すサーバーにつながり、下部では小さな書類カード四枚を載せた矢印が左へ戻っており、タブレットの下には青い幾何学的なマークと「COREWEAVE」の文字が入ったプレートがある。

出典と検証

この記事は2026年10月25日の夕刊に掲載されました(同じ号にほか 8 本)。確認の経緯、引用の照合、その日に確認できなかった資料は、その号の本日の検証にあります。

この記事を引用

SecondSource(2026)「CoreWeave、差分で重みを入れ替え——第三者の再現なし」https://secondsource.io/ja/product/2026-10-25-2/ (閲覧日閲覧)