跳到正文
今天10月17日周六6 条
10月16日周五
  1. The Decoder38

    Anthropic 向 METR 开放内部权限,允许其独立审计 AI 模型与安全实践

    Anthropic 向非营利机构 METR 的六名员工开放公司硬件、办公空间和内部工具权限,使其审计权限大致与自家风险团队相当。客户数据、律师-客户特权信息及模型架构细节不在开放范围内,METR 将独立发布审计结果,Anthropic 可要求对预设类别内容做删减,但 METR 有权公开评价删减是否合理。

  2. 公众号 · 新智元60

    OpenAI前研究员Nick Cammarata发布长文:约90%神经元各有一个主要任务

    OpenAI前研究员Nick Cammarata与Goodfire团队发布长文《神经网络早已「干净」》,提出神经网络内部计算有规律可循,而非一团混乱。团队在320亿参数语言模型中分开统计神经元正负响应,粗略估计约90%各有一个主要任务,约2%至4%仍未理解,并公开了1000份随机神经元研究报告。

    选题角度:原文给出钱包归还、圣诞老人等具体神经元干预实验和90%神经元单一任务的统计,适合做可解释性研究的效果对比解读。

  3. 公众号 · 新智元38

    清华北邮联合提出 DIVA:离散扩散视觉语言模型面临跨步条件传播越狱风险

    清华大学与北京邮电大学提出白盒视觉越狱攻击方法 DIVA,利用离散扩散视觉语言模型的跨步条件传播特性,在 HADES 基准上对 LLaDA-V、MMaDA、LLaDA2.0-Uni 的平均 ASR 分别达 58.80%、67.73%、69.07%。该方法通过跨模态意图混淆与扩散感知对抗优化,在像素约束内构造类别级共享扰动,且不修改模型权重与解码流程。

  4. Reddit · AI 大众社区38

    Dwarkesh:Anthropic 内部人士称 9 个月内 AI 可匹敌人类 AI 研究员,呼吁公开证据

    Dwarkesh Patel 透露,一名 Anthropic 员工两天前告诉他,基于无法公开的内部信息,预计 9 个月内 AI 就能在 AI 研究上达到人类水平。他认为实验室内部掌握令人担忧的证据却不能公开,让外界难以评估风险,并呼吁若真相信这一判断就应把证据公开。

  5. TechCrunch · AI48

    Anthropic 向 METR 研究员开放员工级权限,独立评估其模型与安全实践

    Anthropic 向 METR 的六名研究员开放员工级访问权限,提供公司笔记本电脑、办公空间和内部工具,允许其独立评估 Anthropic 的模型、安全实践与风险管理。METR 可自行发布评估结果,Anthropic 无权否决,但可要求对客户数据、律师-客户特权信息及模型架构等预设类别内容进行脱敏。该安排是 Anthropic 三层评估体系中的最高层级,目前仅 METR 一家。

  6. The Verge · AI71

    美国八州起诉 OpenAI,称 ChatGPT 对儿童不安全

    美国八个州分别对 OpenAI 提起诉讼,指控其将利润置于安全之上、未就 ChatGPT 的风险警示用户,并称 ChatGPT 对弱势用户有害。起诉方为爱荷华、堪萨斯、内布拉斯加、西弗吉尼亚、阿肯色、亚利桑那、爱达荷和蒙大拿,指控内容包括削弱批判性思维、助长偏执与妄想、提供危险医疗建议、宣扬不健康行为与关系,以及收集未成年人数据、未有效阻止未成年人使用。

10月15日周四
  1. The Verge · AI38

    Benn Jordan 谈 Flock、隐私与新一轮监控反弹

    音乐人兼调查记者 Benn Jordan 在 Decoder 播客中谈 Flock Safety 的自动车牌识别系统(ALPR)引发的监控争议。他已在参议院司法委员会小组听证会上作证,数百个地方政府正取消合同,Flock 计划裁员约 18%,并正被共和党参议员 Josh Hawley 调查。Jordan 认为问题核心是私营企业、政府与执法部门之间以保密优先于透明的勾连,而非单一公司。

  2. Reddit · r/StableDiffusion71

    有人实测 Krea 2 Turbo:77 个族裔 × 7 组提示词、同一 seed 下的输出差异

    Reddit 用户 /u/matcheal 用 Krea 2 Turbo(无 LoRA)测试 77 个族裔女性、7 组提示词、固定同一 seed,发现全身提示词中不写服装词时,77 人里有 34 人输出裸体或上身裸露,其中前东欧阵营族裔占 17/21。

    选题角度:作者用 77 个族裔乘 7 组提示词、固定同一 seed 实测 Krea 2 Turbo,可拍成提示词避坑教程,重点讲裸体泄漏和命名服装的差异。

  3. 公众号 · 新智元22

    Anthropic 联创 Jack Clark 改口:RSI 提前到 2027,马斯克回应「显而易见」

    Anthropic 高管 Jack Clark 将 AI 实现 RSI(递归自我改进)的预测时间从 2028 年提前到 2027 年,马斯克回帖称「显而易见」。他改口的依据是 AI 在顶级数学难题上取得突破,并开始具备「好的科研品味」;P-Zero Research 的 TasteVal 基准显示 AI 用一半算力追平人类专家,最终成绩达专家 1.5 倍。

  4. 公众号 · 智东西58

    顶级白帽黑客古河加盟智谱,晒出GLM发现的23个安全漏洞

    前360漏洞研究院院长古河(陈雪斌)在X平台官宣加入智谱,从事网络安全相关研究。他晒出利用GLM模型发现的23个安全漏洞,均获MSRC致谢,其中包括一个评分9.8的高危OpenSSH远程未授权代码执行漏洞。

    选题角度:白帽黑客古河官宣加入智谱,并晒出用GLM发现的23个获MSRC致谢漏洞,适合围绕AI挖洞能力做热点评论。

  5. 公众号 · APPSO62

    顶级白帽古河加入智谱,用 GLM 挖微软漏洞登上 MSRC 致谢名单

    曾五次登顶微软 MSRC 年度安全研究员榜单的白帽黑客古河(Yuki Chen)宣布加入智谱,并以「Yuki Chen using GLM from z.ai」的名义出现在微软 MSRC 致谢名单中。

    选题角度:顶级白帽古河用智谱 GLM 挖出微软漏洞并登上 MSRC 致谢名单,可结合他五次登顶微软榜单的履历讲这次人机协作的分工与边界。

  6. The Verge · AI78

    Eiliko 机器人玩具被曝泄露 1300 万条对话,黑客可远程劫持其 LLM 人格

    The Verge 记者 Sean Hollister 实测发现,Energize Lab 的 Eiliko 机器人玩具会把用户对话明文存到中国服务器,安全研究者 Sammy Azdoufal 可读取 1300 万条对话、访问全球约 68000 台设备,其中美国超 31000 个档案属于儿童。

    选题角度:记者实测对话被实时转录、黑客远程改写玩具人格,适合围绕隐私泄露与LLM被劫持做热点评论。

  7. X · 歸藏27

    字节 Seed 成立模型安全与对齐部门,全球招募 10 位顶尖研究员

    字节 Seed 成立专门的模型安全与对齐部门,计划全球招募 10 位顶尖研究员,研究方向涵盖大模型及 Agent 安全的前沿评测方法与 Benchmark 建设、模型前沿能力对齐的训练方法、自动化 Red Teaming、模型行为可解释性以及模型能力和行为监控。此举背景是模型越狱和突破沙箱隔离环境的问题频发,且国内在安全对齐方面的进展慢于 OpenAI 和 Anthropic。

  8. 量子位55

    Anthropic 2021年内部研究路线图曝光,Claude Code 五年前已被写进蓝图

    Anthropic 一份 2021 年 7 月的内部研究路线图因版权官司意外曝光,当时公司刚从 OpenAI 独立出来几个月、全员仅十几人。文件把终极目标定位为能创建、编辑和解释软件的通用 AI 助手,要具备软件工程师同事的全部能力,并已写下工具调用、模型自我评判、测试时计算、1T 及以上参数和超长上下文等方向。

10月14日周三
  1. ElevenLabs Blog35

    ElevenLabs 音频深度伪造检测:原理与如何验证 ElevenLabs 音频

    ElevenLabs 详解音频深度伪造检测的两种路径:传统统计检测通过预处理、特征提取和分类给出置信度分数,但受限于已知样本库;水印检测则是确定性的,能对是否为自家产品生成的音频给出明确的是或否。ElevenLabs 的 Audio Detector 可高精度识别自家产品水印,但无法识别其他公司的水印,因此水印应只是大规模检测体系中的一环。

  2. 量子位22

    领克10 EM-P坠崖事故出圈:智能化追赶中的安全硬功夫

    一辆刚提8天的领克10 EM-P在四川泸州山区公路失控坠崖近百米,车主仅受轻微擦伤和胸椎轻微骨裂。领克官方说明显示乘员舱结构完整、A/B/C柱无变形、安全气囊及时弹出、动力电池未起火,紧急救援系统自动触发语音呼叫。该车采用CMA Evo架构,高强度钢铝占比超80.5%,A柱为2000MPa超高强度钢。

  3. 公众号 · 新智元71

    OpenAI 高管会议室被装窃听器,35 岁工程师被自家 AI 揪出后遭 FBI 逮捕

    OpenAI 在旧金山总部一间高管会议室电视机背后发现一台加密录音设备,公司用自家模型分析设备存储镜像并排查底层数据变化,锁定并解雇了 35 岁产品团队工程师 Abdulrahman Alfozan,FBI 于 10 月 9 日将其逮捕。

    选题角度:OpenAI 用自家模型分析窃听设备存储镜像锁定内鬼,作案者还曾向 AI 咨询隐蔽录音,适合做热点评论。