兩家新模型同期偏離「標準注意力」——架構層的先行訊號。

本篇出自 2026年7月17日 晨報

Thinking Machines 的 Inkling 被多位從業者從官方模型卡讀出一組罕見選擇,最受注目的是放棄 RoPE——現今幾乎所有大模型共用的位置編碼標準,模型靠它知道哪個字在前哪個字在後——改用相對位置偏置(AINews,07-15);同期的 Kimi K3 用自研的 KDA 注意力——注意力機制決定模型判斷哪些字該互相參考,KDA 是 Kimi Delta Attention 的縮寫——官稱超長輸入的解碼最高快 6.3 倍。兩家同時敢在大規模訓練上偏離標準做法,是 2026 下半年「架構多元化」的訊號。邊界:Inkling 的所有細節都出自同一份模型卡的社群解讀,算單一原始來源;它「未經蒸餾」的宣稱——蒸餾指用大模型的輸出來訓練較小模型——在同一個討論串裡就被自我修正,別當定論。

同類最新

• 模型觀點 2026年7月27日 2 條來源

  Stanford 平攤評測法找到獨立第二證

  Stanford 的「平攤評測法」——用「從題目內容預測難度」壓低可靠評測的成本——今天完成定向查證,找到獨立第二證:ICML 2026 一篇論文用同路線做模型能力外推(scali…

• 模型觀點 2026年7月27日 1 條來源

  Lambert「美版 DeepSeek」宣言查無第二源

  Lambert 一年前的「美版 DeepSeek」宣言——2 年、1 到 5 億美元做出權重（模型訓練完的參數檔案）／數據／代碼全開放的前沿模型——本報完成定向查證:專案存在有媒體…

• 模型觀點 2026年7月26日 1 條來源

  為什麼模型愈練愈會解題、卻愈寫愈不像人？MIT 給了一個機制答案，也剛好解釋了人類專家資料為什麼還缺。

  目前後訓練（模型練完基礎能力後、再教它怎麼答題的階段）的主力方法 RLVR（可驗證獎勵的強化學習：只在數學、程式這類有標準答案的任務上給模型獎勵）有個結構性盲點：它只優化「可以客觀…

• 模型觀點 2026年7月25日 1 條來源

  「AI 寫底層程式」的真瓶頸換位置了：生成是易事，讓人敢信那個數字才難。

  SemiAnalysis 在同篇 AMD 實勘裡給出一組第一手工程觀察：2.5 名工程師配上 AI 編程代理，就能完成過去一整組人才做得完的新模型「發布日支援」：代理自動抓設定、跑…