分類新聞AI 技術10/19
安全中期訓練論文：攻擊成功率降七成以上
arXiv 10/19 論文提出在預訓練與後訓練間加「安全中期訓練」，稱 Qwen3 小模型攻擊成功率平均降 72% 至 81% 且通用能力不降。
arXiv 論文〈Safety Mid-Training〉（10/19 提交，作者包括 Yejin Choi 等人）提出在預訓練與後訓練之間加入「安全中期訓練」階段。作者稱，相對於 Qwen3-1.7B、4B、8B 基礎模型，平均攻擊成功率（ASR）降低 72% 至 81%，同時通用能力提升。
目前大型語言模型的安全對齊多在後訓練進行，近年也有工作在預訓練加入安全資料。作者指出，後續訓練若沒有安全資料，安全性可能退化，而安全提升又常拖累通用能力。他們把安全視為與一般任務同樣需要推理的能力：理解意圖、套用相關知識、推估後果。
做法是讓基礎模型針對安全與有用性提示產生結構化文件與推理軌跡，再用於中期訓練。作者稱，之後只用通用資料做監督微調，或只用沒有安全獎勵的 GRPO，模型仍維持安全並保有較低 ASR；從中期訓練後的模型再做強化學習，可達到更佳的安全與實用性平衡。實驗只涵蓋 Qwen3 小模型，且為預印本作者自報。
跟你的關係
這是研究方向而非現成產品，對一般使用者沒有立即影響。對自行訓練或微調開放模型的團隊，它提醒安全能力可能在後續微調中流失，之後訓練流程值得保留安全資料與評測。大模型是否有同樣效果，摘要未說明。
重點
- 在預訓練與後訓練之間加入安全中期訓練階段
- Qwen3-1.7B、4B、8B 平均 ASR 降 72% 至 81%
- 稱通用能力不降反升
- 後續微調與無安全獎勵的 GRPO 後仍保有安全性
- 結果為預印本作者自報，僅測小模型
來源
本站內文為依上列來源整理的摘要，未另外增加事實；細節請以原文為準。