分類新聞AI 技術10/19
OpenVLHarness 論文：視覺代理加工具與記憶
arXiv 10/19 論文為視覺推理加上工具介面與多模態記憶，稱 22 項基準、8 個模型平均提升 9.7 至 12.6 分（作者自報）。
arXiv 論文〈OpenVLHarness〉（10/19 提交，列表日 10/20）為多模態語言模型加上工具介面與持久的多模態記憶。作者稱在 22 項基準上，對 8 個開放與專有模型，平均分數比無工具基準線高出 9.7 至 12.6 分，皆為作者自報。
作者先在 22 項基準做對照研究，發現單純增加基礎模型的推論預算，進步有限。許多任務需要模型自己推不出的證據，例如有依據的視覺感知、外部知識與工具量測的數值，而且這些證據要讓模型看得懂，並在多步推理中保留。
OpenVLHarness 有兩個主要部分：能力層提供任務級工具介面，並把各種後端輸出轉成模型可讀的觀察；持久記憶則把圖片、結構化資料與網頁參考當作可定址的物件保存，供一次查詢期間使用。另有程式碼介面可對儲存資料執行程式，組合多個工具的結果。摘要舉例：Qwen3-VL-8B +11.2，Kimi K3 +9.7，GPT-6 Astra +9.9。作者還稱搭配 GPT-6 Luna（中等推理強度）時，優於以最大強度執行的基礎模型、Codex 與 Visual Sketchpad 7.7 至 8.5 分，且 token 成本最多為它們的 37%。
跟你的關係
這顯示「模型加工具與記憶」可能比單純加大推論預算更有效，對開發影像分析、圖表理解等應用的團隊是個設計參考。但數字是作者自報，且摘要的對照系統與基準不一定等同你的場景，實際效益需自測。
重點
- 為視覺推理加上工具介面與持久多模態記憶
- 22 項基準、8 個模型，平均提升 9.7 至 12.6 分（作者自報）
- Qwen3-VL-8B 提升 11.2 分
- 稱以最多 37% 的 token 成本勝過對照
- 預印本，未經同行審查
來源
本站內文為依上列來源整理的摘要，未另外增加事實；細節請以原文為準。