AIニュース 2026年11月4日

振り返り · 本紙 10 月 25 日の判断

KV 圧縮が広がっても、AI チップのメモリ需要は消えなかった。本紙の読みでは、需要は置き場所を変えた。

KV キャッシュは、モデルが対話の間に一時的に保存する中間データで、KV 圧縮はこれを小さくする。本紙の推論：メモリ需要の中心は、HBM の容量から、HBM の転送速度と GPU の外のメモリへ移った。NVIDIA の次世代の仕様が公表されれば検証できる。10 月 25 日の深掘りレポートの根拠は次のとおりである。一時データが小さくなると、同じ GPU が同時に扱える対話が増え、どの対話も同じ HBM の積層からデータを読む。このため先に足りなくなるのは毎秒運べるデータの量で、載りきらない分は GPU の外へ移る（カード）。検証には一つの仕様を使う。本紙は、次世代の Rubin Ultra の GPU 一個あたりの HBM 容量が、現行の Rubin の 288 GB を超えないとみる。NVIDIA の正式な公表で確かめる。NVIDIA が Rubin Ultra の HBM の積層を減らすことを検討しているとの業界報道があり、最終仕様はまだ公表されていない。2027 年 3 月 31 日までに NVIDIA が 288 GB を超える容量を公表すれば、この判断は書き直す。この期限は本紙が定めたものである。 どう確かめたか →