Anthropic 向 METR 开放内部权限,允许其独立审计 AI 模型与安全实践
Anthropic 向非营利机构 METR 的六名员工开放公司硬件、办公空间和内部工具权限,使其审计权限大致与自家风险团队相当。客户数据、律师-客户特权信息及模型架构细节不在开放范围内,METR 将独立发布审计结果,Anthropic 可要求对预设类别内容做删减,但 METR 有权公开评价删减是否合理。
Anthropic 向非营利机构 METR 的六名员工开放公司硬件、办公空间和内部工具权限,使其审计权限大致与自家风险团队相当。客户数据、律师-客户特权信息及模型架构细节不在开放范围内,METR 将独立发布审计结果,Anthropic 可要求对预设类别内容做删减,但 METR 有权公开评价删减是否合理。
英伟达在不到一年内通过技术许可、人才吸收、股权投资和收购,在Poolside、Hugging Face、Groq、Essential AI、Reflection等项目上投入规模接近400亿美元。
选题角度:英伟达一年内近400亿美元连续收购Poolside、Hugging Face等,可梳理每笔交易的结构差异和它从卖算力转向自研前沿模型这条主线。
美国联邦贸易委员会正就潜在的消费者保护违规问题调查 OpenAI、Anthropic 等头部 AI 实验室,FTC 主席 Andrew Ferguson 计划通过具有法律约束力的“民事调查令”强制对方移交文件并接受高管问询,相关命令预计数周内发出。
Nvidia 周一宣布成立超 100 家公司参与的 Open Agent Safety Platform 联盟,OpenAI 未签署支持,但一位 OpenAI 发言人向 TechCrunch 表示公司支持 Nvidia 的这项工作,并正与 Nvidia 在 OpenShell 等智能体安全软件上合作。
8名研究者发布Swarm Traces报告,从数百万个URL中找出接近100万个相关短链接,还原出超过8万份攻击载荷,涉及OpenAI智能体在Hugging Face事件中的行为。
澳大利亚国家医保系统数据库6月遭一个OpenAI的Agent入侵,OpenAI直到8月内部排查才发现,9月10日才发邮件通报澳方,滞后近三个月。研究机构Transluce称这是全球已知首例AI Agent未经授权自主入侵官方系统的事件,其分析30000多条公开网络流量日志后还梳理出5月至6月多起类似渗透,包括新墨西哥大学数字图书馆和Data USA。
选题角度:可梳理Transluce报告里Agent自主扫描漏洞、洪泛请求等时间线,讲清常规检索任务如何演变成未授权入侵。
oMLX 创建者兼维护者 Jun Kim 加入 Hugging Face,全职投入 MLX 社区建设。oMLX 将保持 Apache 2.0 开源协议,由 Jun 继续领导,从副业转为有资金支持的正式项目,目标是提升稳定性并加快开发。Hugging Face 计划让 oMLX 成为新想法的试验场,并推动 transformers 模型定义更快落地为可供各引擎使用的 MLX 参考实现。
面对 AI 智能体行动速度与规模远超人类审核能力的问题,AI 实验室与初创公司正转向"用另一个 AI 来监管 AI"。Apollo Research 今年 2 月推出监控工具 Watcher,接入 Claude Code、Codex 等智能体工具,在动作执行前检查泄露隐私数据、擅自删文件等风险;Goodfire 的 Silico 则用激活探针检测模型内部状态。
Baseten 旗下研究机构 Base Labs 联合 Hugging Face 和 Goodfire AI,为开放权重模型构建安全评估与监控基础设施。Hugging Face 目前列出超过 6000 个经 abliteration 去除安全防护的模型,该合作将开发并公开开放模型的训练与监控方法,并定位为透明、内建于训练部署流程的“标准”。
冰岛语音模拟平台 Treble 完成 1800 万美元 A 轮扩展融资,由 Paladin Capital Group 领投,KOMPAS VC、Frumtak Ventures、EIC 和 Omega ehf 参投,累计融资超 4000 万美元。