分類新聞AI 技術10/15

Athanor 論文:AI 代理自主後訓練小模型

主圖:Athanor 論文 AI代理 自主後訓練,9.2升至48.2,4個Opus 5.5代理 訓練104小時
(圖/Shamsi Beers Brinn/Wikimedia Commons(Public domain);報馬仔製圖)

arXiv 10/15:4 個 Opus 5.5 代理訓 104 小時,Qwen3-4B 由 9.2 升至 48.2(官方版 47.9)。

arXiv 在 10/15 刊出論文〈Athanor〉:作者讓 4 個 Claude Opus 5.5 代理在各自的 8 張 GPU 節點上工作 104 小時,把未經指令微調的 Qwen3-4B-Base 後訓練(post-training)後,在保留測試集上的分數由 9.2 升到 48.2,官方 Qwen3-4B-Instruct-2507 為 47.9。

論文探討一種較弱、可量測的「遞迴自我改進」:前沿代理能否用公開資料,把一個原始基礎模型訓練成可用的通才模型。作者建了開放系統 Athanor,提供真實 GPU、工程工具與起始程式碼,代理在沙箱中不得使用外部教師模型,系統另提供凍結評測、受管理的作業、去污染資料,以及代理看不到的保留測試集。

結果方面,在六項任務的開發集上,分數由 15.9 升到 67.3,官方 Instruct 版為 66.5。作者稱這是首次展示前沿代理自主把原始基礎模型訓練到持平或超過官方指令版的平均水準,但也說明提升來自重組既有方法與彼此的模型,包括用公開推理資料做監督微調、強化學習、跨代理權重合併與多輪自我蒸餾。這是預印本,結果為作者自報,未經同行審查。

跟你的關係

這顯示代理已能執行完整的小模型訓練流程,對想自訓小模型的台灣團隊是個參考,但它只是單一實驗,用的是 4B 規模與公開資料。實際成本、可重現性與在中文任務的表現,論文摘要都未涵蓋。 揭露:本站內容由 Anthropic 的 Claude 協助整理。

重點

  • 4 個 Opus 5.5 代理,各用一個 8 GPU 節點,共 104 小時
  • 保留集 9.2 升至 48.2,官方 Instruct 為 47.9
  • 開發集 15.9 升至 67.3,官方 Instruct 為 66.5
  • 方法為重組既有技術:SFT、RL、權重合併、自我蒸餾
  • 預印本,作者自報,未經同行審查

來源

本站內文為依上列來源整理的摘要,未另外增加事實;細節請以原文為準。

← 回首頁看今天的 AI 早報