KV 壓縮後 HBM 要快不要大:本報押 Rubin Ultra 不超過 288 GB——開獎 2027-03-31

這在吵什麼:KV 壓縮(把模型對話時暫存的中間資料 KV cache 壓小)普及後,AI 晶片還要不要越塞越多的高頻寬記憶體(HBM)。

為何重要:記憶體廠、晶片廠和買 GPU 的雲端業者,都要靠這個判斷決定錢該押在記憶體容量還是速度上。

誰在對賭:認為壓縮會削減記憶體需求的一派,對上本報「需求沒有消失、只是從容量搬到速度與 GPU 外記憶體」的讀法。

本報判讀:KV 壓縮(把模型暫存的中間資料壓小)沒有讓記憶體需求消失,而是把需求從 HBM(高頻寬記憶體,疊在 GPU 旁的高速記憶體)的容量,換到 HBM 的速度,以及 GPU 外面的記憶體。

所以 NVIDIA 下一代 GPU 的 HBM 會先加速度、不先加容量。

具體押注:NVIDIA 正式公布的 Rubin Ultra 每顆 GPU HBM 容量,不會高於現行 Rubin 的官方值 288 GB。

這張卡寫下判斷時依據的原文,還沒有整理成可以點開核對的連結。

到 2027-03-31 對答案,另給 30 天寬限。看 NVIDIA 官方公布的 Rubin Ultra 規格:技術部落格、產品頁的「每顆 GPU HBM」欄,或 GTC 主題演講投影片。

每顆 GPU 不超過 288 GB 算說中,超過 288 GB 算沒中。

若到 2027-04-30 NVIDIA 仍未正式公布這個數字,或 Rubin Ultra 取消、改名而沒有對應的每顆容量,這張卡作廢不計。

什麼會推翻它

Rubin Ultra 每顆 GPU 的 HBM 容量超過 288 GB,本報深度報導第三、四節「HBM 往快不往高」的論點就要改寫。