前沿模型仍以注意力機制為骨,SSM 只以混合層進主流、不會整個取代——開獎 2027-07-14

這在吵什麼:主流大模型用 transformer 架構,核心是 attention(注意力機制,讓模型每一步都回看全部前文),SSM(狀態空間模型,例如 Mamba,用固定大小的記憶逐步讀入文字)主打推論更快,爭論在它會不會取代 transformer。

為何重要:架構路線決定模型的運算成本,也決定晶片與軟體要為哪種運算最佳化。

誰在對賭:主張 SSM 或線性注意力會整個取代 transformer 的一派,對上本報判讀:兩者並存,混合架構以效率優勢進主流。

本報判讀:架構上是 transformer 與混合式 SSM 並存。混合架構以「效率護城河」的姿態進入主流(把 SSM 層與注意力層交錯疊在同一個模型裡,省下運算),但 SSM 純粹取代 transformer 的事沒有發生。

2027-07 檢查時,前沿實驗室的主力模型若仍以注意力機制為骨架、SSM 只以混合交錯層出現,就算說中。

arXiv (Albert Gu & Tri Dao)
「Mamba enjoys fast inference (5× higher throughput…」

2027-07-14 對答案:看前沿實驗室的主力模型是否仍以注意力機制為骨架、SSM 只以混合交錯層出現。是就算說中。

什麼會推翻它

任一前沿實驗室以純 SSM 或線性注意力(把注意力的運算量從隨文字長度平方成長壓成線性成長的變體)架構的模型,當作旗艦主力出貨。