回顧 · 本報 10 月 25 日判斷

KV 壓縮普及，沒有讓 AI 晶片的記憶體需求消失，本報的讀法是需求換了位置。

概念插圖：右下方一位黑髮人物背對畫面，雙手舉起一塊淺灰色大板。板子上方有一個寫著 SECONDSOURCE 的白色標牌，下方並排畫著兩組圖，每組在同一條底線上由左至右依次是一個黑色方塊、一條低矮的米色平台、一座四層米色高架和一個灰色櫃子；左組標著 HBM，引線指向高架頂端，平台與各層放著大塊紅色方塊，架頂另放一塊，櫃子兩格為素灰色；右組標著 KV CACHE，引線指向平台，平台上排著許多細長的紅色直條，各層堆滿細薄的紅色橫條，櫃子兩格裡也放著細薄的紅色橫條。圖上印著：288 GB Rubin 每顆 GPU 的 HBM。

本報推論：記憶體需求從 HBM 裝得下多少，換到 HBM 每秒搬得動多少，以及 GPU 外的記憶體，要等 NVIDIA 下一代規格公布才驗得了。HBM 是疊在 GPU 旁邊的高頻寬記憶體；KV cache 是模型對話時暫存的中間資料，KV 壓縮把這份暫存壓小。本報 10 月 25 日深度報告的理由是，暫存壓小後，同一顆 GPU 能同時服務更多段對話，每一段都要從同一疊記憶體讀資料，所以先吃緊的是每秒能搬多少資料，放不下的就往 GPU 外搬（卡片）。本報用一個規格來驗證：NVIDIA 正式公布的下一代 Rubin Ultra 每顆 GPU 的 HBM 容量，本報預期不高於現行 Rubin 的 288 GB。業界報導說 NVIDIA 正評估減少 Rubin Ultra 的 HBM 疊層，最終規格還沒公布。到 2027 年 3 月 31 日前，NVIDIA 若公布的容量超過 288 GB，這個判斷就要改寫，這個期限是本報自己定的。怎麼查的 →

出處與查證

這則刊在2026年11月4日的晨報，同一期還有 10 則。查證經過、引句核對與當天缺的資料，記在那一期的本日驗證。

引用這則

SecondSource（2026），〈KV 壓縮普及，沒有讓 AI 晶片的記憶體需求消失，本報的讀法是需求換了位置。〉，https://secondsource.io/news/2026-11-04-7/，取用日期取用。