实测28种Agent组合:面对5000词需求文档,Claude也只交付14%
一项实测以5000词需求文档为任务,检验Agent能否在长期演进的大型软件系统中从新需求出发交付完整功能,覆盖28种Agent组合,结果显示Claude也只交付了14%。文章指出当前Agent已能熟练调用工具、修改文件、运行测试,但在完整功能交付上仍有差距。
一项实测以5000词需求文档为任务,检验Agent能否在长期演进的大型软件系统中从新需求出发交付完整功能,覆盖28种Agent组合,结果显示Claude也只交付了14%。文章指出当前Agent已能熟练调用工具、修改文件、运行测试,但在完整功能交付上仍有差距。
研究人员让语言模型 Astra 直接读取和改写神经网络权重,无需常规训练流程,他们称之为权重空间编程。
雷峰网用 Claude Code CLI 通过 OpenRouter 同价调用 GPT 6.1 Sol 与 Claude Sonnet 5.5,完成 3D 密室开发、政策调查和诺奖化学科普三项任务。
DeepSeek Harness 团队于 2026 年 10 月 31 日发布《Super-agent 设计探索:迈向更自主的 Agent 系统》技术长文,提出前端 Router 加后台 Worker 的分治架构,把调度与执行解耦,减少对人类注意力的占用。
港科广团队推出一个新基准,测试 AI 只凭网站截图能否生成真正可交互的应用,而不只是「看起来很像」的静态网页。评测关注商品加入后购物车是否更新、切换页面后状态能否保留等实际交互能力。
Liu 和 Han 的研究让 5 个模型跑 3 种 harness,发现换 harness 的影响与同设置重跑相当,通过率差距多在噪声范围内,但 token 消耗可差 2 到 3 倍。
Anthropic 的 Frontier Red Team 与 Theorem 合作,让 Claude 将 crash 测试转化为数学问题并生成形式化证明,数周内产出约 1.8 亿行证明代码,由 Rocq 程序自动校验。
OpenAI 发布了改进 ChatGPT 在低资源编程语言上表现的工作,并推出了新的软件工程评测,涵盖 SQLite 和 COBOL 迁移。这些评测用于衡量模型在低资源语言场景下的工程能力。相关能力改进已落地到 ChatGPT 中。
腾讯混元 Frontier 团队发布 Terminal-RSI,用基于 Qwen3.8-27B 的两轮递归自我重写(RSR)加递归策略精炼(RPR)训练终端 Agent,最终产物为 Terminal-RSI-27B。
新基准 Taste-Bench 用智能体运行轨迹中的决策分叉测量长期决策的"品味",包含 502 道二选一问题。
Google DeepMind 工程师 Haydn Belfield 表示,AI 自身驱动的研究加速尚未出现,但显著的自动化已在发生。AI 现在编写超过 75% 的生产代码,但约 88% 的代码变更仍需人工监督,完全交由 AI 的变更占比从 7.5% 升至 11.9%;跨 1,389 次 Argon 智能体内部运行,任务越复杂、无需人类介入的成功率下降越明显。
哈佛学者 Fiona Chen 和 James Stratton 基于 Jellyfish 聚合数据的研究分析超 700 家软件公司的工程数据,覆盖 3 亿个独立工作事件和 70 多万名员工记录,发现用 AI 写代码后代码量上涨 30%,但软件产出没有增加,瓶颈卡在人类 Code Review。
哈佛大学研究人员 Fiona Chen 和 James Stratton 利用 Jellyfish 的工程团队分析数据,覆盖 2021 年至 2026 年 3 月间 700 多家软件开发公司的 70 多万名员工、3 亿条工作事件(如提交和 pull request),发现人类代码审查成为 AI 编码工具整体效率的显著瓶颈。
谷歌安全团队用 Gemini 将约 3000 行的 C 图像处理库 giflib 翻译为 ABI 兼容的 Rust 替代实现,并停用了原有的进程隔离沙箱。团队通过三阶段自动化迁移流程完成改造,用超过 3000 万个真实 GIF 文件做逐比特回归解码测试,差异模糊测试器连续六天执行 2 亿次迭代未发现功能漂移。
GitHub 发布 ReviewBench,一个面向 AI 代码审查智能体的开放离线基准,研究预览版已上线官网。基准基于 1.039 亿个 GitHub pull request 的分布构建,包含 19 种语言、187 个开源仓库的 219 个 pull request,采用多来源 golden set 与统一评分标准,发布前由资深工程师独立复核,真阳性判断一致率 96.6%。
推荐理由:GitHub 公开了代码审查基准的构建方法与评测口径,读者可据此判断自家审查智能体的强弱项。