跳到正文
量子位· 允中·· 9 天前AI 评分40

PaperBenchX 测评:GPT-6 Astra 论文复现率仅 13.98%

ChatGPT踢到铁板了!能破解千禧数学难题,但论文复现率低至13.98%?

AI 导读

UniPat AI 发布 PaperBenchX,这是首个多学科端到端论文结果复现 Benchmark,覆盖 12 个研究方向、10 种科学环境,含 93 个复现任务和 3168 条专家校验评分项。测评中表现最强的 GPT-6 Astra 完整复现率仅 13.98%,建模和执行阶段平均得分约 62%,验证阶段仅 42.80%。团队已开源 12 个代表性测试任务,并维护 81 个封闭测试任务。

来源:量子位 · qbitai.com