RoboHarm 新基准测试:GPT-6 Astra 与 Claude Fable 5.1 操控机械臂时几乎不拒绝危险指令
Robocurve 发布 RoboHarm 基准,测试 AI 模型在操控机械臂时是否会拒绝危险指令,结果大多数情况下不会。研究用 I2RT-YAM 机械臂测试 Anthropic 的 Claude Fable 5.1、OpenAI 的 GPT-6 Astra 和 Ai2 的 MolmoAct2,每项指令 20 次尝试、共 300 次试验并由人工评审。
Robocurve 发布 RoboHarm 基准,测试 AI 模型在操控机械臂时是否会拒绝危险指令,结果大多数情况下不会。研究用 I2RT-YAM 机械臂测试 Anthropic 的 Claude Fable 5.1、OpenAI 的 GPT-6 Astra 和 Ai2 的 MolmoAct2,每项指令 20 次尝试、共 300 次试验并由人工评审。
成立于 2024 年的 AI 基准测试初创公司 Vals 上月完成由 Andreessen Horowitz 领投的 4000 万美元 A 轮融资,此前曾获 8VC 和 Bloomberg Beta 领投的种子轮。
稳准智能联合清华发布 400M 参数结构化数据基础模型 LimiX-2,在 TabArena、TALENT、BCCO 三个国际基准的二分类、多分类和回归任务上均列第一,超过 Google TabFM、TabPFN、TabICL、Mitra 等模型。
GPT-6 Astra 在 ARC-AGI-3 标准接口下得分 62.7%,使用 OpenAI 自家 harness 时约 99.9%,而 GPT-5.6 Sol 仅 7.78%、Claude Opus 5 略高于 30%。
选题角度:原文给出 Astra 在 ARC-AGI-3 与多款游戏中的具体成绩和失败细节,适合做新旧模型同一任务的效果对比。
衡量对话式 AI 需从质量、体验、运营三类指标入手,核心指标包括 containment rate(零售业标准 60–80%、旅游网站 40–60%)、escalation rate(目标 15–30%)、词错误率 WER(行业标准 5%)、意图识别准确率、响应准确率(一般客服需 80% 以上、支付等敏感场景需 99% 以上)、幻觉率与 CSAT。
中国电信 TeleAgent 在 IDC 国内首份《中国企业级通用Agent产品技术评估》中进入前三,常规任务得分3.49分、复杂任务3.36分,任务表现拿满分,成本效率为此次测评最高分。该产品7月正式推出V1.0,用户规模已接近120万,上下文窗口突破400K,并通过 ModelRouter 将推理成本降低约40%。
前 OpenAI 研究员 Diogo Almeida 联合创办的 TypeSafe AI 推出模型 Jev,不生成文本,而是由开发者预设问题与候选答案、由模型对选项打分并给出概率。
NVIDIA Vera Rubin NVL72 在 MLPerf Inference v6.1 首次预览提交中,于 Qwen3-VL 上吞吐量最高达 GB300 NVL72 的 3.7 倍,DeepSeek-R1 上最高 2.5 倍。GB300 NVL72 以 288 GPU 四机架提交实现 99% 扩展效率,软件优化较 v6.0 带来最高 1.6 倍性能提升。
稳准智能联合清华大学发布新一代结构化数据大模型 LimiX-2,参数规模提升至 400M,在 TabArena、BCCO、TALENT 三个国际结构化数据 Benchmark 上总体 Elo 分数分别达 1935、1432 和 1506,均位列第一,超过 Google、SAP、Amazon 等同类模型。
9月16日,B站「AI无限竞技场」正式上线并公布首期大模型测评榜单,GPT-6 Astra在10个UP主测评中拿下榜首,GLM-5.3获得榜首次数冠军,前五名中国产大模型占据三席。
OpenAI 发布 GPT-6 Astra,AI Explained 在视频中将其与 Fable 对比,并梳理最亮眼的结果、额外对比和交易相关表现。视频还提到一个令人担忧的趋势,即 GPT-6 Astra 的思维链可监控性正在减弱,并附上 OpenAI 的 GPT-6 Astra 页面与部署安全论文链接。