研究とモデル 2026年11月2日

シカゴ大学研究計算センターの測定では、NVIDIA B300 で 70B の Llama-3 を動かすと、スループットは前世代の B200 より 24% から 27% 低い。

（プレプリント、arXiv 2610.41919）

新世代の GPU がどの処理でも前世代より速いとは限らないが、測定は今のところこの一チームだけで、ソフトウェアの版も結果を左右しうる。Mohsen Zand 氏、Trung Dac Nguyen 氏、H. Birali Runesha 氏は 10 月 30 日、独立した二つの 8 GPU クラスタで二つの GPU を比べた結果を発表した（arXiv 2610.41919）。著者らによると、同じ型番の B300 サーバー二台に別々の版の vLLM 開発版を入れただけで、リクエストを送ってから最初のトークンが出るまでの待ち時間に 2.1 倍の差が出た。vLLM は広く使われる推論ソフトウェアである。70B の言語モデル以外にも B300 が負けた処理があり、その差はもっと大きい。畳み込みによる画像推論では B200 の速度が最大で B300 の 5.6 倍、3D の視覚 transformer の訓練では 8 倍、材料シミュレーションのプログラム Quantum ESPRESSO の倍精度計算では 16 倍だった。著者らの観察では、B300 が負けた処理で B300 が使った電力は 1,100 ワットの上限の 36% から 53% にとどまった。B300 が勝った画像モデル ViT-Large では、どちらも上限の 95% から 97% を使った。論文の要旨によると、負けた処理ごとの原因は分けて示されていない。 どう確かめたか →