Ai2 測 6 款 LLM 評點子新穎度
Ai2 10/27 發表研究，測試 6 款 LLM 擔任研究點子的新穎度評審，結果單改提示語，GPT-5.4 在 Human+Generated 設定下準確率從 93.5% 降到 40.9%。簡單的 Claude Opus 4.6 提示 macro-F1 為 0.854，成本 2.59 美元。
Ai2 10/27 發表研究，用 ICLR 2026 審稿意見建立資料集，測試 6 款 LLM 能否判斷研究點子是否新穎。結果顯示單改提示語，就能讓 GPT-5.4 的準確率從 93.5% 降到 40.9%。
Ai2 10/27 在 Hugging Face 部落格發表研究，測試 6 款 LLM 擔任「新穎度評審」。研究用 ICLR 2026 的審稿意見，建立 154 個高新穎度的人類點子與 145 個低新穎度點子的資料集。
最大的發現是提示語的影響。研究指出，只改變提示語，GPT-5.4 在 Human+Generated 設定下的準確率就從 93.5% 降到 40.9%，判決在超過一半的配對上改變。換句話說，LLM 當評審的結果，很大程度取決於怎麼問。
在成本與表現上，一個簡單的 Claude Opus 4.6 提示（低推理、三次投票）macro-F1 為 0.854，成本 2.59 美元；Sakana 的 AI Scientist 評估器 macro-F1 為 0.772，成本 82.05 美元。在這項測試裡，簡單提示分數較高、成本低很多。數字皆為 Ai2 自評。
資料集 allenai/novelty-judge-bench 與程式碼 allenai/novelty-eval 已公開；人類專家審閱 30 組，全部偏好人類點子。論文編號為 arXiv 2610.02022，本篇沒有開到論文頁。本站使用 Anthropic 的 Claude 協助製作。
跟你的關係
如果你用 LLM 來評估點子、審稿或篩選提案，這項研究提醒：同一個模型換個提示語，結果可能差很多（GPT-5.4 的準確率從 93.5% 降到 40.9%）。這是研究機構自評，與台灣無直接關聯，本站未獨立複現。
重點
- Ai2 10/27 發表研究，測試 6 款 LLM 當新穎度評審
- 只改提示語，GPT-5.4 準確率從 93.5% 降到 40.9%
- 簡單 Claude Opus 4.6 提示 macro-F1 為 0.854，成本 2.59 美元
- 資料集 154 個高新穎度與 145 個低新穎度點子，已公開
- 數字為 Ai2 自評；本站未開 arXiv 論文頁
來源
本站內文為依上列來源整理的摘要，未另外增加事實；細節請以原文為準。