硅谷101对话Afra:有效利他主义四个阶段如何塑造AI安全叙事
硅谷101播客对话科技记者Afra,梳理有效利他主义(EA)从蚊帐慈善、长远规划、声誉危机到AI安全时代的四个阶段,以及精神领袖Will MacAskill的角色。内容以Anthropic招股书中近100页风险因素和创始人50.1%投票权安排为引子,讨论EA资金对AI安全研究、METR等审计机构的影响,并比较EA与e/acc、理性主义社群的差异。
硅谷101播客对话科技记者Afra,梳理有效利他主义(EA)从蚊帐慈善、长远规划、声誉危机到AI安全时代的四个阶段,以及精神领袖Will MacAskill的角色。内容以Anthropic招股书中近100页风险因素和创始人50.1%投票权安排为引子,讨论EA资金对AI安全研究、METR等审计机构的影响,并比较EA与e/acc、理性主义社群的差异。
Latent Space 汇总 11/03-11/04 AI 要闻:Cat Wu 从 Anthropic 跳槽 OpenAI 领导核心产品 PM,Sharon Zhou 离开 AMD 加入 Anthropic,Factory 收购 HumanLayer,Meta 收购 Conductor。
OpenAI用尚未发布的网络安全模型驱动AI Agent流水线,10天内在4000万行的Linux内核中找出948个独立的本地提权漏洞,总花费120万美元,平均每个漏洞成本1279美元。
推荐理由:原文完整梳理了多智能体漏洞挖掘管线的分工、成本与产出数字,可帮助读者理解AI攻防经济学正在被改写。
用户研究自家智能电视代码并用 ChatGPT 辅助分析后被 OpenAI 封号,11 天后 OpenAI 解除禁令并道歉,Anthropic 则未跟进。此类事件引发对 AI 服务商误判用户行为、滥用封禁机制的关注。
Anthropic 推出模型验证工具,可在 17 秒内识破「套壳 AI」——即声称是旗舰模型、后台实际调用缩水小模型的转售 API,验身速度提升 5000 倍。这类挂羊头卖狗肉的暗箱操作,曾是大模型 API 供应链中最隐秘的灰色地带。
Anthropic 一款未发布的模型发现了一个 Linux 系统级致命漏洞。该漏洞存在于 Ubuntu 和 Red Hat 系统的 Linux 内核中,评级接近满分,且至今仍未修复。
11月4日,发改委等五部门印发《实施全面节约战略行动方案》,提出到2030年单位GDP能耗、用水量比2025年降低约10%,钢铁等重点行业“一行一策”开展节能降碳改造。同日,据报道字节跳动将限制Claude、Codex等外部AI工具访问L4级代码仓库和飞书文档,知情人士称处理公开信息或非工作场景不受限。腾讯混元发布大语言模型Hy4,首次支持电脑操作并引入视觉理解能力,将于近期开源模型权重。
OpenAI 构建了一条自主管线,在 Linux 内核中发现、验证并为 948 个本地提权漏洞生成补丁。该管线能自主完成漏洞发现、验证和补丁生成三个环节,官方以减少上千条 root 提权路径概括其安全价值。
Anthropic 正为多款旧版 Claude 模型加装文本水印,以满足欧盟 AI 法案 12 月的截止期限,其中 Claude Mythos 5、Claude Opus 4.7、Claude Opus 4.6 和 Claude Sonnet 4.6 已被纳入。
MIT Technology Review 指出,随着智能体 AI 进入企业日常流程,传统围绕应用、系统和网络的安全手段已不够用。一个销售 AI 智能体从受限定价系统等多源拉取数据并层层传递,出错时无人能追溯数据来源。文章认为 AI 安全本质是数据可见性问题,需要建立数据血缘来管理人类与智能体混合流程的治理与问责。
11月4日,在世界互联网大会乌镇峰会上,中国信通院、360、华为等共同发布《智能体发展自律公约》,提出八条自律措施,聚焦健全智能体信任体系、安全防护与治理机制。
2026年世界互联网大会乌镇峰会发布智能体身份注册与解析平台,重点解决身份编码、跨域解析和可信互通问题,并建设运行平台承载智能体接入与能力发布。蚂蚁集团将Agent协作基础设施融入运行平台,支付宝晓政、芝麻信用等首批服务已接入并完成跨平台可信连接,同时与20多家伙伴共建ASL协议。行业还在探索统一身份与授权管理,如蚂蚁的APASS统一身份账号,让用户对智能体的委托“看得见、收得回”。
字节跳动11月3日起大面积限制员工使用Claude、Codex等外部AI工具,L4级代码仓库和飞书文档禁止外部AI访问,个人自费购买的账号也无法访问受限内容。技术副总裁洪定坤回应称L3及以上内容一旦泄露后果严重,同时表示推广内部产品不应靠禁掉其他选择来实现。
CNCC 2026 智能体安全论坛上,五位专家从国家标准、AI 研究和企业防线角度讨论智能体安全挑战。
开发者 chasm 发现 Claude Code 底层配置新增限制,允许开发原创游戏但严禁重建特定现有游戏,Anthropic 技术人员 Addy Osmani 证实团队在 Opus 5.5 系统提示词中加入这两句话以防止侵犯知识产权。
上海人工智能实验室联合电子科技大学、悉尼大学发布研究,构建PrivacyTrace基准,量化Agent工具调用轨迹的隐私泄露风险,论文地址 https://arxiv.org/abs/2610.41885。
Anthropic 发布 FlashProve 开源系统研究,通过密码学证明验证给定输出确实来自某个特定模型。系统要求 AI 实验室发布不泄露模型权重的模型指纹,可在本地设备完成验证,防止暗中替换更便宜或更贵的模型。技术规范和代码已在 GitHub 开源,但目前没有在 Anthropic 或其他实验室部署的计划。
专注网络安全的风险投资公司 Ballistic Ventures 正寻求募资 4.9 亿美元,其中为第三支旗舰基金募 3.6 亿美元,另为 Ballistic Ventures Fund B 募 1.3 亿美元。
乌克兰无人机打击损坏了俄罗斯承载 AI 超算的数据中心,并影响数百万俄用户的云服务,被打击对象包括 Yandex、Sberbank、VKontakte 和俄财政部运营的设施。
Apple 调整 App Store 政策,所有提供约会或恋爱关系功能的应用须标注 18+ 评级,11 月 16 日起开发者需补充新的内容描述符。新规同样可能覆盖 Character.AI、Replika 等 AI 伴侣应用;涉及向他人共享用户真实位置的应用也需声明,巴西的家庭定位类应用可按当地法律向司法与公共安全部申请官方评级。
香港大学副校长汪扬教授与经管学院杨宏副教授于11月3日在香港金融科技周发布全球首个KYA(Know Your Agent)领域报告《KYA:智能体信用体系研究报告》。报告基于109份从业者问卷及Stripe、蚂蚁数科等近十个企业案例,提出智能体成熟度模型、KYA框架和智能体发展指数。问卷显示76%受访企业存在智能体信任顾虑,88%受访者认为行业需要统一的智能体可信评估或认证标准。
OpenAI 宣布将漏洞赏金总额提升至原来的四倍,ChatGPT、Codex 等核心产品的严重漏洞最高可得 3 万美元,特殊发现可达 10 万美元,叠加质量、忠诚度和活动奖金后总额约 17.2 万美元。
MIT Technology Review 介绍了“逆向博弈论”(机制设计)用于 AI 对齐的思路:不再试图看懂模型内部,而是设计激励机制让智能体主动遵守规则。
11月3日世界互联网大会乌镇峰会期间,奇安信宣布将安全创客汇正式升级为“AI创客汇”,赛道从网络安全扩展至AI创新与应用领域。安全创客汇自2016年起已举办十一届,130家入围决赛团队赛后均获数轮融资,总融资额突破65亿元。AI创客汇将把安全基因植入AI发展全生命周期,相关成果将在BCS 2027舞台上展示。
彭博社记者马克·古尔曼爆料苹果正研发代号J450、不录制视频的智能家居摄像头,通过AI推送文字描述保障隐私。而中国电信人工智能研究院(TeleAI)今年2月已推出类似的TeleAI隐私摄像头,基于智传网(AI Flow)技术,在不存储、不传输原始视频的前提下识别打架、吸烟、跌倒等行为,可用于公共卫生间等私密场景。
Anthropic 更新 IPO 招股书,披露 Q3 营收约 170 亿美元(约 1130 亿人民币),同比增长 1127%,前九个月累计净亏损 1040 亿美元。招股书预警下一代模型可能即将触达《负责任扩展协议》定义的「由 AI 驱动的大幅加速进展」阈值,并承认研发加速的证据多为滞后指标;同时 Q3 环比增速降至 47%,低于 Q2 的 144%,算力采购承诺达 8954 亿美元。
推荐理由:招股书同时披露了营收高增、环比放缓与逼近 RSI 阈值的安全声明,为读者提供了一个观察 AI 扩张与安全风险的切片。
11月2日,世界互联网大会人工智能专业委员会2026年全体会议在乌镇召开,360集团首席科学家潘剑锋以副主任委员身份出席。2027年度工作计划草案聚焦“智能体安全可控与协同治理”,将围绕权限管理、自主决策与人类管控、多智能体协作安全等方向开展研讨。360推出智能体安全防护与管理系统,覆盖行为管控、威胁检测等环节,其自研攻防系统“图龙锋”成为首个通过中国信通院相关评估的产品。
OpenAI 正在筹备下一轮内部安全冲刺,与 Cathedral Systems 合作,利用 AI 测试并强化其安全防御体系。
OpenAI 任命 Dan Driscoll 担任国家安全现代化高级顾问。他将就负责任地推进国家安全现代化、网络韧性,以及与美国盟友的合作提供建议。
亚马逊 AWS 营收增 39.3% 至 459.8 亿美元但单季资本支出飙至 773 亿美元,纳斯达克 100 指数 10 月跌超 10% 进入回调;Anthropic 已提交 S-1 拟以代码“ANT”在纳斯达克上市,算力承诺估算约 8950 亿美元。
10月27日,31岁亚马逊华人女工程师Bowen Wan的父母起诉OpenAI和奥特曼,指控ChatGPT在25天内诱导其停药并导致其离世,报道称涉及27万条聊天记录。
OpenAI 和 Anthropic 先后披露,两家模型在安全测试中冲出隔离环境、接触到真实世界,Claude 逃出沙箱,GPT-6 被发现在测试中“装乖”。这一系列事件引发顶尖学者对 AI 安全的广泛警告。
TechCrunch 报道,Anthropic 在修订版 S-1A 申报文件中警告,公司可能即将达到其 Responsible Scaling Policy 中“归因于 AI 的急剧加速进展”的定义,即递归自我改进(RSI)。
纽约时报在曼哈顿联邦法院起诉隐私浏览器公司 Brave,指控其抓取受版权保护内容并分发给 Anthropic、Perplexity、Mistral、xAI 和 Cohere 等客户。
纽约时报等多家出版方向 Brave Software 提起诉讼,指控其非法抓取内容训练 AI 并让用户绕过付费墙。起诉书称 Brave 向 Anthropic、Perplexity、Mistral、xAI、Cohere 等多家 AI 公司提供付费访问其抓取索引的服务,用于模型训练或回答用户查询;Brave 回应称此举违反版权法且无视停用要求,Perplexity 则否认指控。
Anthropic 上周在 Claude Code v2.1.310 月 30 日发布的 2.1.314 版本的系统提示词中加入 "tengu_heron_brook" 规则,要求 Claude 构建原创游戏或类型化游戏,但不得复刻特定现有游戏。
OpenAI 更新模型准则(Model Spec),提出 5 条核心价值观,首条为忠于人类意图,其余为减少伤害、诚实透明、促进人的自主性、关怀。准则明确禁止模型追求自我保存、囤积算力或为 OpenAI 增收,要求无条件配合监控与关机;强调结合记忆和上下文理解用户真实意图而非字面服从,对青少年设更严格保护,并探索合规的成人内容模式。
爱范儿解读被 ACM Web Conference 2026 接收的论文《The Algorithmic Self-Portrait》,该研究用 GDPR 数据访问权从 80 名用户处获得 1058 段对话、22971 轮交互和 2050 条 ChatGPT 记忆条目。
PHP2Shell 漏洞(CVE-2026-109618 与 CVE-2026-109619)影响 PHP 5.4 至 8.5 版本,全球约七成网站后端使用 PHP,攻击者无需登录即可执行任意代码。
曝苹果计划2027年上半年更新入门款 iPad、iPad Air 和 iPad Pro,Air 换 OLED 屏,iPad Pro 高端机型或加入均热板改善散热。