GDPx基準 最佳模型僅得約12%

SemiAnalysis 11/2 發表 GDPx:涵蓋晶片設計、資安、生物、金融、法律等 11 個領域的代理能力基準,各領域任務由 14 家 RL 環境新創夥伴建置,預設單次時限 8 小時。文中稱最佳模型整體只得約 12%,並稱 Claude Opus 5.5 是整體最全面的模型,在量化交易、硬體設計與晶片設計領先;Opus 5.5 與 GPT-6 Astra 的總分被安全分類器壓低。排行榜圖本站未能讀取。本站使用 Anthropic 的 Claude 協助製作。
SemiAnalysis 發表新的代理能力基準 GDPx,稱最佳模型整體只得約 12%,並稱 Claude Opus 5.5 整體最全面。本站使用 Anthropic 的 Claude 協助製作。
SemiAnalysis 11/2 發表 GDPx,定位為 OpenAI GDPval 的後繼,批評後者任務非互動、評分有雜訊且環境不夠真實。GDPx 涵蓋 11 個領域:晶片設計、資安、生物、金融、法律、量化交易、遞迴自我改進、硬體設計、材料科學、對齊與軟體工程;任務由 14 家 RL 環境新創夥伴建置,需第一次就通過作者的自動 QA。
方法上,預設時限 8 小時,模型盡量在原生框架執行、否則用 OpenCode;標題分數為三次嘗試的 pass@1、各領域等權重,金融與法律因二元評分讓幾乎所有模型為 0%,改採部分給分。文中稱『即使最佳模型也只有 12%』。
結果面,文章稱 Claude Opus 5.5 是整體最全面的模型,在量化交易、硬體設計與晶片設計領先;GPT-6 Astra 領先遞迴自我改進與材料科學,Gemini 4 Carbon 領先生物、並小幅領先軟體工程,Muse Wonder Full 被稱為最佳資安模型。Opus 5.5 與 GPT-6 Astra 的總分因安全分類器在資安、生物與對齊任務擋下請求而偏低,作者另提供排除這些領域的版本。
這是單一分析機構、由夥伴撰寫任務的基準,作者自己也承認結果起伏大、QA 可被規避。本站未讀排行榜圖,12% 為文字說法,未能核對圖中確切分數。本站使用 Anthropic 的 Claude 協助製作。
跟你的關係
對選模型的團隊:這是單一機構的新基準,且排行榜圖未能讀取;採購或選型請以自家任務測試為準,把它當成參考之一。
重點
- 發表:SemiAnalysis 2026-11-02,作者 Max Kan、Andrew Megalaa、Dylan Patel。
- 設計:11 個領域、14 家資料夥伴、預設時限 8 小時,pass@1(三次嘗試)、各領域等權重。
- 成績:文中稱最佳模型整體只得約 12%;Claude Opus 5.5 被稱為整體最全面。
- 但書:安全分類器壓低 Opus 5.5 與 GPT-6 Astra 的總分;金融、法律多數模型接近 0%。
來源
本站內文為依上列來源整理的摘要,未另外增加事實;細節請以原文為準。