早報AI 技術11/04 07:00
MIT：LLM改0.016%權重 數學升6倍
改權重升6倍MIT CSAIL 研究者部落格（自述）｜Register 報導
MIT CSAIL 研究者 11/2 發表部落格，提出「權重空間程式設計」：不跑訓練迴圈，讓大型語言模型直接讀寫另一個神經網路的權重。他們稱用 GPT-6 Astra 只改 Qwen3.5-0.8B 的 0.016% 權重，MATH-500 由 7.9% 升至 48.1%。這是作者自述，非同行審查，且在 Gemma 3 270M 上沒有明顯進步。
跟你的關係
對研究者與模型開發者：這是概念驗證，成效限於小模型與少數基準，尚不能視為取代微調的方法。
重點
- 方法：前沿 LLM 依自然語言目標直接讀寫小網路權重，不用梯度下降（作者自述）。
- 數學：Qwen3.5-0.8B 改 131,072 個權重（0.016%），MATH-500 由 7.9% 升至 48.1%，GSM8K 由 13.8% 升至 67.1%。
- 指令遵循：IFEval 由 21.0% 升至 62.3%，約 3 倍。
- 限制：Gemma 3 270M 的 MATH-500 約 6.8% 升至約 7%，無明顯進步。
- 狀態：作者部落格，未見 arXiv 連結或同行審查。
來源
- Takehi、Teoh、Zhang、Khattab（MIT CSAIL）：Sparks of Weight-Space Programming・2026-11-02（頁面標示日期，未顯示時刻） ↗
- The Register・2026-11-03 08:15 UTC（台灣 16:15） ↗
本站內文為依上列來源整理的摘要，未另外增加事實；細節請以原文為準。