KV圧縮でHBMは大容量より高速へ:Rubin Ultraは288 GB以下と見る——期日 2027-03-31

KV圧縮(モデルが対話中に保持する中間データを小さくする技術)が広がるなかで、AIチップがなお大容量の高帯域メモリー(HBM)を積み増す必要があるのかが争点だ。

メモリーメーカー、半導体メーカー、GPUを買うクラウド事業者はいずれも、この判断をもとにメモリーの容量と速度のどちらに資金を振り向けるかを決める。

圧縮でメモリー需要は減るとみる陣営に対し、本紙は需要は消えず、容量から速度とGPU外のメモリーへ移るだけだと読む。

本紙の見立て:KV圧縮(モデルが保持する中間データを小さくする技術)はメモリー需要を消したのではない。需要をHBM(GPUの隣に積層する高速メモリー)の容量から、その速度と、GPUの外にあるメモリーへと移したのである。

だからNVIDIAの次世代GPUは、HBMの容量より先に速度を引き上げる。

具体的な賭け:NVIDIAが正式に公表するRubin UltraのGPU1基あたりHBM容量は、現行Rubinの公式値288 GBを上回らない。

この判断のもとになった原文は、まだ開いて確かめられるリンクとして載せていません。

NVIDIAが公式に公表するRubin UltraのGPU1基あたりHBM容量(技術ブログ、製品ページ、またはGTC基調講演のスライド)で判定する。猶予は30日。

何が起きれば覆るか

Rubin UltraのGPU1基あたりHBM容量が288 GBを超えれば、本稿第3節・第4節の「HBMは高く積むより速くなる」という論旨を書き直す。