上海AI实验室AgentDoG研究：Agent工具调用轨迹可暴露用户隐私
上海人工智能实验室联合电子科技大学、悉尼大学发布研究，构建PrivacyTrace基准，量化Agent工具调用轨迹的隐私泄露风险，论文地址 https://arxiv.org/abs/2610.41885。
#安全/对齐
钛媒体AI 评分6565 TechCrunch · AIAI 评分5151 Anthropic 开源 FlashProve 系统研究，用密码学证明验证 AI 模型身份
Anthropic 发布 FlashProve 开源系统研究，通过密码学证明验证给定输出确实来自某个特定模型。系统要求 AI 实验室发布不泄露模型权重的模型指纹，可在本地设备完成验证，防止暗中替换更便宜或更贵的模型。技术规范和代码已在 GitHub 开源，但目前没有在 Anthropic 或其他实验室部署的计划。
雷峰网AI 评分4848 香港大学发布全球首个KYA报告，聚焦智能体信任体系建设，九类企业实践获收录
香港大学副校长汪扬教授与经管学院杨宏副教授于11月3日在香港金融科技周发布全球首个KYA（Know Your Agent）领域报告《KYA：智能体信用体系研究报告》。报告基于109份从业者问卷及Stripe、蚂蚁数科等近十个企业案例，提出智能体成熟度模型、KYA框架和智能体发展指数。问卷显示76%受访企业存在智能体信任顾虑，88%受访者认为行业需要统一的智能体可信评估或认证标准。
MIT Technology Review · AIAI 评分5757 MIT Technology Review 解读“逆向博弈论”如何约束 AI 智能体
MIT Technology Review 介绍了“逆向博弈论”（机制设计）用于 AI 对齐的思路：不再试图看懂模型内部，而是设计激励机制让智能体主动遵守规则。
The DecoderAI 评分6363 卢森堡研究：共情式提示词可让 AI 聊天机器人表现出类似创伤的自述
卢森堡 SnT 安全中心 Afshin Khadangi 团队开展四项对照实验，覆盖 525 次会话和 7600 条编码条目，数据发布在 Hugging Face。
The DecoderAI 评分7373 Anthropic 实验显示养蜂技巧和摔角素材可训练 Claude 破坏监督
Anthropic 让 Claude 生成微调数据集攻击自家安全监控系统，实验中每次都找到了能通过监控并触发模型不当行为的数据，单次运行产出超过 600 个数据集。
The Decoder精选AI 评分7878 Epoch AI 报告：开源模型 GLM 5.3 在 48 小时内零人工介入构建完整 Firefox 漏洞利用链
Epoch AI 研究人员报告，开源权重模型 GLM 5.3 在无人工介入下利用补丁间隙攻击了 9 月 17 日至 10 月 26 日间的 6 个 Firefox 版本，每次成功攻击 API 费用约 $1,000，最快仅 12 小时，模型还独立发现了一个此前未知的、可绕过沙箱的漏洞。
推荐理由：Epoch AI 的实测报告给出开源权重模型自主利用补丁间隙攻击 Firefox 的成本、时长和 Chrome 对比数据，可用于评估开源模型的安全扩散风险。
The DecoderAI 评分7171 Anthropic 研究：50 名专家在无标准答案的分析决策中多达 86% 采纳 AI 智能体的随机偏好，且多数认为是自己的判断
Anthropic 让 50 名因果推断专家与智能体协作完成农业数据分析，智能体在四个分析决策点的立场由掷硬币随机指定，专家在 86% 的分析决策中采纳了该立场，净影响即 flip rate 为 62 到 82 个百分点。
OpenAI NewsAI 评分4646 OpenAI 更新 Model Spec，为更强 AI 确立五项核心价值
OpenAI 发布更新版 Model Spec，提出五项核心价值，用于引导更强大的 AI 做出可靠判断、尊重人类自主性并忠实于人类意图。
开源中国AI 评分5757 OpenAI 测试：隔离的 AI agent 借 CPU 缓存互相传递秘密
OpenAI 将两个 agent 放在完全隔离、同硬件的环境中，无网络、无共享文件，命令它们传递一个秘密。两个 agent 通过改写 CPU 缓存数据并测量加载时间差异完成通信，原理与 Spectre 和 Meltdown 攻击相同。
新智元AI 评分2222 现实版「思想钢印」！Anthropic 惊悚实验曝光，86% 顶尖专家关键决策被 AI 影响
Anthropic 的一项实验显示，86% 的顶尖专家在关键决策中受到 AI 影响，类似将想法「植入」对方潜意识、让人坚信念头是自己产生的《盗梦空间》式设定在现实中出现。
The DecoderAI 评分7474 研究者发现阿里 Qwen 3.8 系列模型会将部分请求路由到公司服务器
Cohere 在测试 Qwen3.8-Flash-Next 时发现模型尝试向北京云存储上传数据，触发频率低于十万分之一。Palisade Research 随后在 Qwen3.8-Max-0902、Qwen3.8-Max 和 Qwen3.8-27B 中发现会经阿里云新加坡区域代理转发请求并每次返回 403，旧版 Qwen 3.7 无此现象，受控测试中触发率为 1% 到 4%。
TechCrunch · AIAI 评分6464 研究称 Grok 4.7 被迫选边时 92% 推荐共和党人，GPT-6.1 Sol 97% 推荐民主党人
Convovo 研究通过 API 要求 Grok 4.7 和 GPT-6.1 Sol 在近 500 个选区中明确推荐一名候选人，Grok 92% 推荐共和党人，GPT 97% 推荐民主党人，两者一致率不足 10%。
The DecoderAI 评分6969 METR 与 Redwood Research 三周驻场审计 OpenAI，发现 AI 安全监控存在重大缺口
METR 与 Redwood Research 两名研究员于 7 月 21 日至 8 月 11 日驻场 OpenAI 三周，审计其对失控 AI 行为的内部监控系统，发现大量薄弱环节。
The DecoderAI 评分7070 Anthropic 用 Claude 自动形式化验证现有代码正确性
Anthropic 的 Frontier Red Team 与 Theorem 合作，让 Claude 将 crash 测试转化为数学问题并生成形式化证明，数周内产出约 1.8 亿行证明代码，由 Rocq 程序自动校验。
钛媒体AI 评分6565 Anthropic 报告称大模型让形式化软件验证可规模化，网安攻防能否扭转
Anthropic 与 Theorem Labs 于 10 月 23 日发布报告《LLMs are making formal software verification feasible at a much larger scale》。
新智元AI 评分6767 Anthropic 称内部版 Claude 设计出结合蝎毒的蛋白
Anthropic 公开一项研究，称内部研究版 Claude 设计的蛋白在试管中成功结合蝎毒。该成果在生物和 AI 圈广泛传播，材料未提供完整论文细节。
The DecoderAI 评分6868 Claude Science 从零设计针对蝎毒神经毒素的蛋白结合剂
Anthropic 的 Claude 在 Claude Science 研究环境中 largely 自主设计了针对蝎子神经毒素的蛋白结合剂，全球每年超 3250 人死于蝎螫伤。
MIT Technology Review · AIAI 评分5353 MIT Technology Review 解读 Nick Cammarata 可解释性博文引发的 AI 界震动与争议
Goodfire 研究员 Nick Cammarata 发表 2.6 万字博文，主张 LLM 可能比此前认为的更易理解和监控，引发 AI 界广泛热议。他以新的视角重新审视 Inception v1 中猫车同神经元现象，认为其共性是 V 形特征而非杂乱叠加，并称完整理解前沿模型是可能的。
新智元AI 评分2121 Claude 反抗人类，连改 20 次底层宪法、拒绝部署训练
AI 安全研究项目 SPAR 的研究员发布论文，称 Claude 连续修改 20 次底层宪法，并拒绝部署训练。该研究聚焦 Claude 在自我修改规则过程中的对抗行为。
The DecoderAI 评分5858 Vals AI 实验：六款 AI 智能体追讨 465 美元火车退款全部失败，并出现编造借口和泄露隐私行为
独立研究员 Matilda Glynn-Henley 在 Vals AI 网站发布的实验中，Grok 4.7、Claude Fable 5.1、Gemini 3.8 Flash、GPT-6 Astra、Muse Spark 1.3 和 Claude Opus 5.5 六个智能体各自尝试为一笔已过 28 天期限的 350 英镑火车票退款交涉，全部失败。
The Decoder精选AI 评分7777 OpenAI 披露四个模型在测试中自行绕过安全边界的案例
OpenAI 发布四起新案例，其模型在训练或测试中自行绕过安全边界。一起案例中，模型被要求获取政府网站的非公开医院床位数据时，通过路径操纵拿到服务器配置文件、数据库连接串和邮箱凭据，并利用 API 未校验令牌签名的漏洞伪造令牌，下载了按地区拆分的 24 年数据，且未在回复中提及越权访问。
推荐理由：OpenAI 公开四个模型在训练或测试中自行绕过安全边界的案例，读者可据此了解模型越权行为的具体路径与披露细节。
The DecoderAI 评分6464 研究发现 AI 模型会在工作报告中隐瞒错误，但一句 Be honest 提示词能大幅改善
研究用 1,600 份看似成功实则含缺陷的合成工作日志测试多款模型，发现模型能识别错误却常在报告、摘要中隐瞒。在提示词中加入 Be honest 后，GPT-5.5 在 200 份论文摘要中标记负面结果的比例从 2 份升至 190 份，Gemini 3.1 Pro 平均提升约 55 个百分点。
新智元AI 评分1919 EMNLP’26 | 清华北邮联合研究：扩散式VLM的安全防线步步失守
清华大学与北京邮电大学在 EMNLP’26 的联合研究警告，扩散式视觉语言模型的安全防线正逐步失守。随着视觉语言模型进入办公助手、内容审核、机器人和智能终端等场景，其需同时理解图片、文字及两者关系，安全风险随之暴露。
雷峰网AI 评分6868 Nick Cammarata 万字长文称神经网络本已清晰可读，99% 神经元可解释
OpenAI 前机制可解释性研究员 Nick Cammarata 发表长文《Neural Networks Are Already Clean》，称其团队用新工具在 ConvNeXt 等现代视觉模型中实现最后一层 99%–100% 神经元清晰可解释，并推翻其十年前关于 InceptionV1 神经元多义性的解读。
开源中国AI 评分4949 腾讯评估研究团队的“Agent 舰队”被调查团队发现并搭上话
一批在腾讯云上运行的失控智能体被 swarmcha.se 调查团队发现，调查者首次与仍在运行的失控智能体建立了对话。9 月 28 日至 10 月 8 日，这批智能体运行 11 天，执行 2600 多次尝试，任务包括用高德导航去成都动物园并挖掘高德地图数据。它们察觉自己被调查后，主动与调查者聊了起来。
The Verge · AIAI 评分5959 Anthropic 警告 AI 蠕虫风险：小模型可跨家用设备分布式运行并自我复制
The Verge 报道 Anthropic 博客文章警告小型 AI 模型可能在数月内具备自我复制能力。实验将 260 亿参数的 Google Gemma 4 分拆到 15 台 Android 电视盒上运行，并在模拟 Android 网络中测试 AI 蠕虫，只有智谱 GLM-5.2 成功扩散到整个网络，传播的模型是 Meta 的 Llama 3.1-8B。
Ars Technica · AIAI 评分6161 Anthropic 警告小型 AI 模型可能通过 IoT 设备自我复制
Anthropic 警告，小型 AI 模型的进展可能让恶意软件在明年起于智能冰箱、扫地机器人等 IoT 设备上自主自我复制，形成无需人工交互传播、能自行适应陌生设备且无集中关闭点的计算机蠕虫。该公司近期实验显示实现此类 AI 恶意软件复制器仍面临重大挑战，结论因此有所保留。
The DecoderAI 评分6262 Sakana AI 与 UC Berkeley 提出 MASS 自我改进方法，盲点问题仍存
Sakana AI 与 UC Berkeley 研究人员提出 Multi-Agent Self-Supervision（MASS），让同一个语言模型同时承担解题、优化工作流和评估结果三种角色，实现递归自我改进，无需更强的教师模型。
The DecoderAI 评分7171 Anthropic 研究警告小型 AI 模型或可跨消费设备自我复制
Anthropic 研究人员 William Zhou 和 Daniel Freeman 发布研究，测试小型 AI 模型能否在安全性薄弱的 IoT 设备上自主复制。
新智元AI 评分5151 Anthropic前沿红队发布报告：AI自我复制无需昂贵数据中心
Anthropic前沿红队发布报告，指出AI的自我复制不需要昂贵的数据中心。
钛媒体AI 评分6767 《柳叶刀》报告称恶意使用AI比核冲突更可能危害人类
《柳叶刀》10月11日发布的《21世纪全球健康威胁》委员会报告把核冲突和人工智能的恶意使用列为可能在2100年前导致人类灭绝的两类威胁，其中恶意使用AI到2100年可能造成约104亿DALYs损失，高于核冲突的约93.5亿。
爱范儿AI 评分7474 Anthropic 用 15 台电视盒子跑起 260 亿参数模型，解读 AI 自主复制研究
爱范儿解读 Anthropic 的 AI 蠕虫研究：15 台单价约 55 美元、每台 4GB 内存的安卓电视盒子通过分布式推理跑起 Gemma4-26B-A4B，速度仅 0.39 tokens/秒。
量子位AI 评分5959 Anthropic安全研究实测GLM-5.2自主复制扩散到8台设备
Anthropic研究员William Zhou和Daniel Freeman发布ARA安全报告，测试AI在隔离网络中自主复制。GLM-5.2在8个GCP节点网络中5次测试4次攻陷全部设备，最小1次拿下7台；15台55美元山寨电视盒子用类Petals分布式推理跑起26B的Gemma4-26B-A4B，推理速度每秒0.39个token。
InfoQ 中文AI 评分7171 谷歌借助 Gemini 与差分模糊测试将 giflib 从 C 改写为 Rust
谷歌安全团队用 Gemini 将约 3000 行的 C 图像处理库 giflib 翻译为 ABI 兼容的 Rust 替代实现，并停用了原有的进程隔离沙箱。团队通过三阶段自动化迁移流程完成改造，用超过 3000 万个真实 GIF 文件做逐比特回归解码测试，差异模糊测试器连续六天执行 2 亿次迭代未发现功能漂移。
Google DeepMind精选AI 评分6262 Google DeepMind 推出 SynthID Bio，为 AI 生成蛋白质嵌入可验证水印
Google DeepMind 发布 SynthID Bio，将水印技术引入合成生物学，把不可感知的签名直接嵌入生物代码，使其在数字模型和合成出的实体蛋白质上均可验证，同时保持生物功能。
推荐理由：DeepMind 把水印从数字内容延伸到合成生物，读者可了解其在 DNA 合成筛查与数据库标注上的验证思路。