Hugging Face 原生支援 Google TPU
Hugging Face 10/20 宣布經 TorchTPU 讓 Transformers 等直接在 TPU 執行，不必改寫 JAX；能在 TPU 上跑的測試通過率 96.5%（官方自述），尚未全綠。
Hugging Face 在 10/20 宣布，透過 TorchTPU 讓 Transformers、Diffusers 等函式庫能直接在 Google TPU 上執行，使用者寫一般 PyTorch 程式碼即可。官方稱能在 TPU 上跑的 Transformers 測試通過率為 96.5%，並自承「尚未全綠」。
TorchTPU 是原生 PyTorch 後端，把 TPU 當成「另一種裝置」，支援 Pallas 核心、分散式訓練與 torch.compile 整合。安裝可在 TPU VM 上用 pip 完成；Hugging Face 模型搭配 Transformers 與 Diffusers 時，也不再需要 Optimum TPU。預設為 eager 模式，torch.compile 為選用。
96.5% 的分母只包含「能在 TPU 上跑的測試」，不是整套測試。團隊已向 TorchTPU 儲存庫回報 34 個問題、修好 19 個，夜間 TPU CI 仍在建置。效能上，官方示例在批次大小 64 時，以 Pallas 核心對照預設的 grouped_mm 實作，Qwen3-30B-A3B 解碼快 21.5 倍、Gemma 4 26B-A4B 快 12.8 倍；Qwen-Image-2.1 在 1024×1024、40 步下，編譯後 3.5 秒，eager 為 8.0 秒。以上皆為官方自述。
跟你的關係
對台灣想用 Google Cloud TPU 的團隊，這代表現有 PyTorch 與 Hugging Face 程式碼遷移門檻降低，不必學 JAX。但仍在早期，部分模型可能不能跑，正式使用前要先自行跑測試與核算 TPU 成本。
重點
- 10/20 宣布，以一般 PyTorch 程式碼即可在 TPU 上執行
- 可在 TPU 上跑的測試通過率 96.5%，尚未全綠
- 已回報 34 個問題、修好 19 個
- 批次 64 時核心比預設實作解碼快 21.5 倍（官方示例）
- Diffusers 範例跑在 Cloud TPU v6e-4
來源
本站內文為依上列來源整理的摘要，未另外增加事實；細節請以原文為準。