SecondSource從一手資料重建判斷

芝加哥大學研究計算中心量測,NVIDIA B300 跑 70B 的 Llama-3 模型,吞吐比上一代 B200 少 24% 到 27%。

(預印本,arXiv 2610.41919)

概念插畫:右側一隻手橫握著黑色圓角框的螢幕,螢幕底部黑色橫條上印著「UNIVERSITY OF CHICAGO」,橫條上方的檯面中央立著印有「NVIDIA」字樣和綠色圖案的米色牌子。牌子左邊是標著「B200」的深灰色機櫃,上方有四個畫著橫線的對話框,右邊是標著「B300」的磚紅色機櫃,上方有三個畫著橫線的對話框,兩個機櫃的外側各放著一疊印有橫線的紙。 圖上印著:吞吐24%–27% 芝大測B300比B200少,跑70B。

新一代 GPU 不保證每種工作負載都比上一代快,目前只有這一個團隊的量測,軟體版本也可能影響結果。Mohsen Zand、Trung Dac Nguyen 與 H. Birali Runesha 10 月 30 日發表,在兩座獨立的八卡叢集上比較兩款 GPU(arXiv 2610.41919)。作者還量到,兩台同型號的 B300 伺服器各裝了不同版本的 vLLM 開發版,從送出請求到出現第一個字的等待時間就差 2.1 倍。vLLM 是常用的推論軟體,所以軟體版本也可能影響這裡的比較。在 70B 語言模型以外的工作負載,差距更大:卷積影像推論,B200 的速度最多是 B300 的 5.6 倍;3D 視覺 transformer 訓練是 8 倍;材料模擬程式 Quantum ESPRESSO 的雙精度計算是 16 倍。作者觀察到,在落後的工作負載上,B300 只用到 1,100 瓦功耗上限的 36% 到 53%;在 B300 勝出的影像模型 ViT-Large 上,兩款都用到功耗上限的 95% 到 97%。據論文摘要,作者沒有逐類拆開每一種落後的原因。 怎麼查的 →

出處與查證

這則刊在2026年11月2日的晨報,同一期還有 4 則。查證經過、引句核對與當天缺的資料,記在那一期的本日驗證。

引用這則

SecondSource(2026),〈芝加哥大學研究計算中心量測,NVIDIA B300 跑 70B 的 Llama-3 模型,吞吐比上一代 B200 少 24% 到 27%。〉,https://secondsource.io/research/2026-11-02-1/,取用日期取用。