AI 的記憶之戰,目前是「放回提示裡」領先「寫進模型」——開獎 2027-07-14

這在吵什麼:要讓 AI 記住使用者和過往工作,可以把記憶存在外面、每次放回 context(模型這次讀到的輸入內容),也可以直接寫進模型參數(權重)。

為何重要:寫進權重若可行,AI 能真正「學會」而不只是「翻筆記」,不可行的話,記憶產品的主戰場就在怎麼整理和取用外部記憶。

誰在對賭:Dwarkesh Patel 認為模型無法持續學習是瓶頸;研究者 Nathan Lambert 反駁這是系統問題,靠更多 context 加更強推理就能解,本報判讀目前偏向後者。

本報判讀:記憶之戰目前傾向放在 context 這一側,因為寫進權重的記憶連「寫得進去、撐得住」都還沒被證明。

第一個直接的機制實驗顯示,直接寫進權重的事實,在之後又寫入 20 次後只剩 1% 到 46% 還記得;同樣的事實放回 context 裡,能恢復到 77% 到 80%。

這仍是未定局,本報只說目前證據偏向哪一邊。

Packer/.../Gonzalez — UC Berkeley — arXiv
「virtual context management, a technique drawing…」

到 2027-07-14 對答案:這 12 個月裡,如果沒有兩家以上前沿模型公司把權重級記憶(直接寫進模型參數,不算單純加速讀取的快取工程)放上正式產品,算說中;有兩家以上,算沒中。

什麼會推翻它

兩家以上前沿模型公司把權重級記憶寫入放上正式產品:「記憶在 context 側」的判斷作廢,轉向權重側。