微软 ThinkingBox 基准测试:AI 智能体自报完成,数据库却不同意
微软与 Hugging Face 联合发布 ThinkingBox 基准,通过 507 个有状态业务流程、每个任务重复运行 20 次,按智能体留下的后端数据库状态和副作用而非生成文本打分。
微软与 Hugging Face 联合发布 ThinkingBox 基准,通过 507 个有状态业务流程、每个任务重复运行 20 次,按智能体留下的后端数据库状态和副作用而非生成文本打分。
Hugging Face 发布论文 ProvenanceGuard,一种面向 MCP 智能体的生成后验证层,可保留工具输出的来源身份,检测"跨来源混淆"——即事实为真但被归因到错误来源。在医疗智能体的 281 条真实 trace 上,专家判定应拦截的 139 条 claim 中它拦下 138 条,来源识别准确率约 86%,并在四款对照检查器中得分最高。