AI 新聞 2026年10月21日

今日 · 公告 10 月 20 日

Google TPU 原生跑 PyTorch。數字皆自報

Google 讓 TPU 成為 PyTorch 原生裝置，vLLM 與 SGLang 的 TPU 版推論引擎由兩個框架創始團隊開的公司共同開發

為什麼重要： 開放模型搬上 TPU，模型層改設定就能跑，運算核心仍要另寫；每美元效能只有 Google 方的數字。

10 月 20 日 Google 在開發者部落格宣布 TorchTPU：TPU 成為 PyTorch 的原生裝置，程式照一般 PyTorch 寫法跑（Google for Developers，2026-10-20）。同篇推出 vLLM 與 SGLang 的 TPU 版推論引擎。vLLM 與 SGLang 是兩套常用的開源推論框架。TPU 版分別與 Inferact、RadixArk 共同開發，Google 寫兩家由 vLLM、SGLang 的創始團隊成立。Google 自述引擎已為「預覽客戶」運行，客戶沒有名字；並自報在 SemiAnalysis 的公開推論評測 InferenceX 上，Qwen 3.5 在 Ironwood TPU 的每百萬 token 最低成本 2.01 美分，對手的名字與數字正文沒列。同日 Google 另一篇寫，Meta 用 PyTorch 寫的大模型訓練框架 TorchTitan 也加入 TPU 原生路徑。Hugging Face 同日說，跑 Transformers 與 Diffusers 的模型不再需要自家轉接層 Optimum TPU（Hugging Face，2026-10-20）。運算核心（kernel）程式仍要為 TPU 另寫。本報 9 月 13 日那期寫過 SemiAnalysis 說 TorchTPU 十月中開源；可安裝的公開版 10 月 19 日上架（PyPI torch-tpu），時點命中。Google 4 月 7 日的部落格已寫 GitHub 倉庫公開，所以這裡的「開源」指可安裝版。

還不能當真： 成本與效能數字全出自 Google 或合作方 怎麼查的 →

判斷更新： 這次 Google 的做法是把 vLLM、SGLang 的創始團隊、Meta 的訓練框架與 Hugging Face 的模型定義拉進來一起做。照 Google 與合作方的說法，開放模型搬上 TPU 時，模型定義與框架這一層改設定就能跑。運算核心（kernel）仍要為 TPU 另寫或調校。每美元效能目前只有 Google 方的數字，沒有獨立量測。這是本報的讀法。本報 9 月設的檢驗點，到 2026-11-07 前有沒有與 Google 無合作關係的具名第三方用公開版重跑 InferenceX，今天沒有新證據。什麼會推翻它：具名的非 Google 客戶公布遷移到 TPU 的生產成本；或到 2027 年 3 月預覽客戶仍無名。