分類新聞AI 技術10/19
TokenGate 論文：學習式丟 token 加速長文預填
arXiv 10/19 論文稱 TokenGate 讓首 token 時間快 1.4 至 11.3 倍、峰值記憶體少 1.5 至 3.4 倍且不降準確度（作者自報）。
arXiv 在 10/19 提交（列表日 10/20）的論文〈TokenGate〉提出一個可嵌入既有模型的小元件，以可端對端學習的 token 修剪（pruning）加速長文預填（prefill）。作者稱首 token 時間快 1.4 至 11.3 倍、峰值記憶體少 1.5 至 3.4 倍，且預填準確度沒有下降。
長文本推論時，模型要讓每個 token 通過每一層，預填階段成本很高。作者以人類略讀為比喻：只仔細讀重要的部分。TokenGate 用受混合專家（Mixture-of-Experts）啟發的「token 門控注意力」，以 token 重要性分數重新加權注意力 logits，解決 top-K 修剪不可微分的問題。
它可套用在標準 Transformer（如 Qwen3）與混合注意力模型（如 Qwen3.5）上，所需調整與一般參數高效微調相當。作者稱與先前最佳的 token 修剪方法相比，預填最高快 6.4 倍、峰值記憶體少 2 倍。程式碼已公開在 GitHub。作者包括 Ion Stoica、Matei Zaharia、Carlos Guestrin 等人。結果是預印本中的作者自報。
跟你的關係
若你在自家部署長文本應用，例如長合約或長文件問答，預填延遲與記憶體是主要成本；這類研究若成熟，可降低硬體需求。但目前只是論文階段，需要自己的模型與資料驗證，不能直接當作產品保證。
重點
- 首 token 時間快 1.4 至 11.3 倍（作者自報）
- 峰值記憶體少 1.5 至 3.4 倍
- 預填準確度未下降
- 比先前最佳修剪法最高快 6.4 倍
- 程式碼已公開
來源
本站內文為依上列來源整理的摘要，未另外增加事實；細節請以原文為準。