Transformer 架构还能咋改？严骏驰团队提供两条思路 | CNCC 2026
在 CNCC 2026 演讲中，上海交通大学教授严骏驰团队介绍了在现有 Transformer 架构上扩展容量的两项工作：JTok 为 token 引入可学习参数表，xHC 将残差流从四路扩展到十六路并采用稠密读取、稀疏写回。
#数据/训练
雷峰网AI 评分4444 新智元AI 评分4040 GPT-6爆改模型权重！数学能力狂飙6倍，MIT博一新作破圈了
MIT博一学生的最新做法是不训练、不算梯度，仅让 GPT-6 Astra 改写另一款小模型 0.016% 的权重，就使其数学成绩暴涨 6 倍。该工作近日在网络上破圈引发关注。
爱范儿AI 评分6161 MIT CSAIL 权重空间编程研究：GPT-6 Astra 改 0.016% 参数让 Qwen3.5-0.8B 数学成绩大涨
MIT CSAIL 团队展示权重空间编程方法，让 GPT-6 Astra 直接读取并修改 Qwen3.5-0.8B 权重，仅改 131072 个参数，MATH-500 从 7.9% 升至 48.1%，GSM8K 从 13.8% 升至 67.1%，IFEval 从 21.0% 升至 62.3%。
Latent SpaceAI 评分5353 Latent Space AINews：MIT 研究称 LLM 可直接读写神经网络权重，Qwen3.5-0.8B MATH-500 从 7.9% 升至 48.1%
Latent Space 10/31-11/02 期 AINews 头条报道 Weight-Space Programming 研究：LLM 无需梯度训练即可直接检查和编辑小模型权重，仅改 Qwen3.5-0.8B 约 0.016% 权重（131,072 个）就把 MATH-500 从 7.9% 提到 48.1%。
量子位主站AI 评分6565 MIT实验：GPT-6 Astra直接修改Qwen3.5权重，MATH-500得分从7.9%升至48.1%
MIT让GPT-6 Astra直接分析并修改Qwen3.5-0.8B的权重，仅改动0.016%参数且不用梯度训练，MATH-500得分从7.9%升至48.1%，指令执行能力提升3倍。
The DecoderAI 评分6060 Google DeepMind 与 WRI 发布 ForTy 全球森林类型 AI 地图
Google DeepMind 与世界资源研究所（WRI）发布 ForTy（Forest Typology），以 10 米分辨率将 2020 年全球陆地划分为原生林、自然再生林、人工种植林、种植园、油棕橡胶可可等经济林木和其他土地共 6 类。
量子位AI 评分6363 分子之心MMDesign技术报告：19个项目18个成功，六个GPCR靶点全获命中
分子之心发布MMDesign平台技术报告，覆盖18个靶点、纳米抗体和大环肽两类模态共19个设计项目，18个获得实验确认的结合分子，成功率达94.7%，整体候选命中率30.7%。
量子位AI 评分3030 威卡发布具身智能赋能工程机械高质量数据集
威卡移动控制总经理薛力戈在2026徐州第十届人工智能大会上发布“具身智能赋能工程机械高质量数据集”，已在 Hugging Face 等数据仓库开源上线。该数据集第一阶段规模达3600万帧，覆盖12类典型作业场景，通过统一时间戳同步视觉、激光、位姿、力馈、手柄输入五大维度数据。威卡称其可推动工程施工向少人化、无人化迈进，现阶段真机采集成本约每小时5000元，训练一套可用模型需10万小时量级数据。
Google ResearchAI 评分5050 Google 提出 sleep 框架：让 LLM 在持续学习中把短期记忆固化为长期参数
Google Research 提出面向 LLM 持续学习的 sleep 框架，让模型在主动交互期与离线睡眠期之间交替，将脆弱的短期上下文固化进稳定的长期参数。
新智元AI 评分3434 NeurIPS’26 | 注意力也能弃权！改善长上下文、低比特鲁棒性
Attention Residuals（AttnResidual）通过增强 Transformer 的表达能力，让注意力在 token 之间读取和整合信息时更加灵活，从而改善长上下文与低比特量化场景下的鲁棒性。该工作已被 NeurIPS’26 接收。
OpenAI NewsAI 评分3030 OpenAI 与 PerturbAI、Scripps Research 用数千个 AI 智能体挖掘生物数据新研究线索
OpenAI 与 PerturbAI、Scripps Research 合作，使用分布式 AI 智能体分析数百万脑细胞数据，找出有前景的研究线索。
雷峰网AI 评分5454 北大董豪团队推出 HIL-UMI，让具身后训练摆脱真机依赖
北大和启元机器人董豪团队推出 HIL-UMI，在 UMI 手持夹爪采集中加入模型预测，通过动作分歧检测和优势估计器定点捕获模型盲区，实现无本体后训练纠错。真实机械臂四项任务测试中，相同数据预算下平均任务进度分从常规 SFT 的 58.0 提升到 94.8，整理桌面任务有效数据采集效率较真机 HG-DAgger 提升 5.63 倍。
雷峰网AI 评分7373 书生-S2助力完成三维Ghys猜想证明并通过Lean形式化验证
许地生团队依托上海AI实验室书生-S2模型，通过人机协同完成三维Ghys猜想证明，论文已发布于arXiv，形式化代码在GitHub公开。攻关中书生-S2完成7批接续推演，问题图从15个节点扩展到389个，输出上千页推导；北大董彬、刘若川团队用SHEAF框架在约5天内以峰值100个智能体并行产出约55万行Lean代码，完成全部四个主定理的形式化验证。
The Verge · AIAI 评分6464 Microsoft 发布 Probabilistic Bias Correction 方法，可将天气预报提前至 2–6 周
Microsoft 研究团队在 Nature 发表 Probabilistic Bias Correction（PBC），用机器学习修正现有天气模型的系统偏差，并将该工具开源，可将较可靠预报从两周内延长至 2–6 周。
Microsoft ResearchAI 评分4444 Microsoft Research 推出 StudentSim：用模拟学生改进 AI 导师训练评估
Microsoft Research 推出研究系统 StudentSim，基于公开去标识化的学习者记录为每个学生训练个性化模拟器，用于在真实学习者测试前评估和改进 AI 导师，非产品、不替代教师。配套的 StudentSimEval 基准覆盖国际象棋、二语英语写作和数学三个领域，从行为保真度和对导师引导的响应度两个维度评估，StudentSim 在两项上均超越领先基线。
The DecoderAI 评分6666 微软研究：清空对话历史可让 AI 智能体找到更好解法
微软研究院一项研究指出，长时间运行的 AI 研究智能体即便增加算力也会陷入表现瓶颈，同一智能体在同一任务上的 8 次独立运行最终得分从 68.3 到 100.0 不等，且差距在算力大幅增加后依然存在。
The DecoderAI 评分6262 Sakana AI 与 UC Berkeley 提出 MASS 自我改进方法，盲点问题仍存
Sakana AI 与 UC Berkeley 研究人员提出 Multi-Agent Self-Supervision（MASS），让同一个语言模型同时承担解题、优化工作流和评估结果三种角色，实现递归自我改进，无需更强的教师模型。
钛媒体AI 评分6262 杨立昆新模型 H-JEPA 反对 Agent 与 RSI 叙事
杨立昆提出分层联合嵌入预测架构 H-JEPA，把多个 JEPA 逐层堆叠，每层在各自表征空间预测不同时间跨度的状态，规划时由高层给出粗略目标、下层细化到动作。论文以 Visual AntMaze 迷宫任务为参照，单层 LeWM 成功率 18%，三层 H-JEPA 达到 73%；但在 Push-T 任务中三层、四层表现反而下降，论文推测是短轨迹限制了高层可用的训练数据。
量子位AI 评分6666 华为 Memento 3 通关 ARC-AGI-3 全部 25 款游戏，操作次数比人类少 56%
华为诺亚方舟实验室联合 UCL 等团队提出 Memento 3 智能体系统，以 Claude Opus 5 为底模、不更新权重也不微调，通关 ARC-AGI-3 公开集全部 25 款游戏、183 个关卡，拿下满分 100 的 RHAE 成绩，总操作 7518 次，比人类的 17135 次少约 56%。
雷峰网AI 评分7171 字节论文发现 DeepSeek V4 分块 KV Cache 压缩的相位敏感缺陷
字节团队论文《Periodic Weak Spots: Phase Sensitivity from Chunked KV-Cache Compression》指出，DeepSeek V4 系列采用的分块 KV Cache 压缩会带来相位敏感性：关键 Token 落在切块交界盲区时模型容易答错。
Ars Technica · AIAI 评分6262 研究：AI 编码智能体生成更多代码，但软件产出并未增加
哈佛大学研究人员 Fiona Chen 和 James Stratton 利用 Jellyfish 的工程团队分析数据，覆盖 2021 年至 2026 年 3 月间 700 多家软件开发公司的 70 多万名员工、3 亿条工作事件（如提交和 pull request），发现人类代码审查成为 AI 编码工具整体效率的显著瓶颈。
量子位AI 评分7171 字节 Seed 发现 DeepSeek-V4 时强时弱源于分块 KV Cache 压缩的相位敏感性
字节 Seed 团队发现 DeepSeek-V4 系列在长上下文检索中的表现会随信息在输入中的位置每隔 4 个 Token 周期性变化，128K 大海捞针测试中同一信息换位置后准确率最高相差 40.2 个百分点。
MIT Technology Review · AIAI 评分2222 如何将 AI 智能体接入企业知识
MIT Technology Review 对 300 名技术高管的调研显示，企业平均仅约 34% 的智能体 AI 项目能进入生产环境，知识缺失是主要失败原因之一。
Microsoft ResearchAI 评分3636 微软研究院用机器学习预测电网空间天气风险
微软研究院开发了一套端到端机器学习流水线，利用太阳风观测与AE、Dst指数预报，结合纬度、地质电导率等本地数据，为美国本土66,935座变电站生成30-60分钟前的空间天气风险预测。
Google DeepMind精选AI 评分6262 Google DeepMind 推出 SynthID Bio，为 AI 生成蛋白质嵌入可验证水印
Google DeepMind 发布 SynthID Bio，将水印技术引入合成生物学，把不可感知的签名直接嵌入生物代码，使其在数字模型和合成出的实体蛋白质上均可验证，同时保持生物功能。
推荐理由：DeepMind 把水印从数字内容延伸到合成生物，读者可了解其在 DNA 合成筛查与数据库标注上的验证思路。
Microsoft ResearchAI 评分4444 微软开源逆合成模型 RetroChimera，成果登上 Nature
微软研究院在 Nature 发表逆合成模型 RetroChimera，并开源其实现与权重。该模型用学习式重排序整合 Transformer 模型 R-SMILES 2 与 GNN 模型 NeuralLoc 的互补预测，在十项挑战性多步合成目标中成功九项，优于 de novo 模型的五项、编辑模型的四项和基线 NeuralSym 的两项。
Berkeley AI ResearchAI 评分3838 Berkeley AI Research 提出 ABBEL：用信念状态监督让 LLM 高效完成长程交互
Berkeley AI Research 提出 ABBEL 框架，将 LLM 的摘要内容隔离为自然语言"信念状态"并加以监督，以应对长程交互中上下文无法无限扩展的问题。在协作编程基准 CollabBench 上，采用基于重构的信念评分后，ABBEL 把与全上下文模型的性能差距缩小约 50%，训练步数从 100 步降至 50 步，峰值 token 长度也显著低于全上下文设置。
Berkeley AI ResearchAI 评分3232 GRASP：面向世界模型长时程规划的梯度规划器
Berkeley AI Research 提出梯度规划器 GRASP，通过将轨迹提升到虚拟状态实现跨时间并行优化、向状态迭代直接注入随机性以探索，并重塑梯度，让动作获得清晰信号、避免穿过高维视觉模型的脆弱"状态-输入"梯度，使基于学习动力学（世界模型）的长时程规划变得可行。该工作与 Mike Rabbat、Aditi Krishnapriyan、Yann LeCun、Amir Bar 合作完成。
Berkeley AI ResearchAI 评分2828 Berkeley AI Research 提出 SPEX 与 ProxySPEX：大规模识别 LLM 关键交互
Berkeley AI Research 提出 SPEX 与 ProxySPEX 算法，可在特征、数据与模型组件归因中大规模识别驱动 LLM 输出的关键交互。SPEX 利用稀疏性与低阶性把交互搜索转化为稀疏恢复问题，ProxySPEX 进一步利用层次结构，以约 10 倍更少的消融达到 SPEX 的性能。
Berkeley AI ResearchAI 评分2626 伯克利提出信息驱动成像系统设计框架，可跨四类成像任务预测性能
伯克利 AI Research 提出一种基于互信息的成像系统评估与优化框架，仅用带噪测量和噪声模型即可量化信息含量，无需任务专用解码器。该方法在彩色摄影、射电天文、无透镜成像和显微镜四个领域验证，信息估计能预测下游重建性能，优化后的设计可媲美端到端方法，且内存和算力需求更低。