研究與模型 2026年8月24日

今日 · 發布日 8 月 24 日

一個行之有年的標準優化，在今天這種流量下把快取命中率從理論的 96.0% 打到實測 28.8%。

同一份量測裡有一段可以直接照做的內容。DP-attention 是一種把注意力計算（判斷句子裡哪些字彼此相關的步驟）按「資料平行」切開的優化，在單輪固定長度的場景通常是淨賺的；但在長脈絡多輪流量下它由正轉負——在 MiniMax M3 這個模型上，併發 40 時吞吐掉到不開的六成、首字延遲（按下送出到看到第一個字的時間）惡化三倍以上；併發 32 時快取命中率實測 28.8%，理論值是 96.0%。⚠️ 這兩組數字的併發點不同（40 與 32），不是同一次量測的兩個欄位。機制寫得很白：每個運算單元只擁有快取池的私有四分之一，一段 30 萬字的對話只要下次被派到別的單元，整段就得從頭重算（SemiAnalysis，08-24）。