Google 与 Mercor 发布 PLE 基准,Claude Opus 5.5 满足 91% 单项约束但仅 41.3% 设计过安全门槛
Google 与 Mercor 发布 Physical-Engineering's Last Exam(PLE)基准,以 85 项机械、电气、土木与结构工程任务评测工程 Agent。
Google 与 Mercor 发布 Physical-Engineering's Last Exam(PLE)基准,以 85 项机械、电气、土木与结构工程任务评测工程 Agent。
OpenAI 推出酝酿已久的 AGI 评测基准 LifeVal。发布正值关于 GPT-6.2 Astra 的爆料在 X 上疯传之际。该标准被描述为面向可接管全球任务的 AGI 能力衡量,价值 1.7 万亿美元。
密歇根大学 Ang Chen 团队发布开源基准 CloudOpsBench 1.0,包含 45 个 AWS 云运维任务,由资深 DevOps 工程师构建。Claude Fable 5.1 解出 60%,GPT-6 Astra 为 53%,无一模型全部完成。约 80% 的失败源于智能体误判任务范围、未检查相关服务或过早停止,约 20% 为错误操作且部分后果不可逆。
斯坦福研究者 Owen Queen 和 James Zou 用 2024 年 7 月至 2026 年 9 月间 8 家开发者发布的 20 个模型检验 50 项被广泛引用的 LLM 结论,44% 已过期,34% 明显减弱,仅 16% 仍成立。
雷峰网用 Claude Code CLI 通过 OpenRouter 同价调用 GPT 6.1 Sol 与 Claude Sonnet 5.5,完成 3D 密室开发、政策调查和诺奖化学科普三项任务。
OpenAI 推出 LifeVal,一个衡量 AI 在完成日常任务方面表现的基准。该基准覆盖从寻找托儿服务到管理财务和政府文书等日常场景。
一项发表在 EMNLP'26 的研究用狼人杀式基准测试多模态大模型的社交推理能力:模型虽能看到表情、听到声音,却难以判断「我不是狼」这类陈述的真假。结果显示 GPT 等多模态大模型在「读空气」类社交场景中存在明显盲区。
Artificial Analysis 全面改版其 Intelligence Index 榜单,Kimi K3.1 Pro 从第四名跌至第九名,落后于八个闭源模型;开源模型与榜首的分差从 3 分扩大到 12 分,Grok 4.7 也损失 12 分。
哈佛组织最强人类审稿团与 Claude 对同一批 124 篇论文各写审稿意见,在七个审稿维度上人类一项都没赢,人类审稿的错误率达 AI 的 3 倍。结果显示 Claude 在审稿质量上全面领先,凸显 AI 在学术评审环节的应用潜力。
港科广团队推出一个新基准,测试 AI 只凭网站截图能否生成真正可交互的应用,而不只是「看起来很像」的静态网页。评测关注商品加入后购物车是否更新、切换页面后状态能否保留等实际交互能力。
Convovo 研究通过 API 要求 Grok 4.7 和 GPT-6.1 Sol 在近 500 个选区中明确推荐一名候选人,Grok 92% 推荐共和党人,GPT 97% 推荐民主党人,两者一致率不足 10%。
Liu 和 Han 的研究让 5 个模型跑 3 种 harness,发现换 harness 的影响与同设置重跑相当,通过率差距多在噪声范围内,但 token 消耗可差 2 到 3 倍。
哈佛研究人员10月22日发表论文,对比134组AI与人类审稿意见,AI在七个评价维度全面领先;三位前期刊主编盲评30次中26次判AI更好,AI审稿事实错误率5.5%低于人类的15.9%。
新基准 Taste-Bench 用智能体运行轨迹中的决策分叉测量长期决策的"品味",包含 502 道二选一问题。
新基准测试评估 AI 的「第六感」,考察模型在人类一眼就能理解的视觉任务上的直觉判断能力。表现最强的模型仅得53.6分,而人类可轻松看懂;即便模型用上万枚推理 token 详细分析视觉题,仍与人类表现存在差距。
研究者推出测试常规理论物理研究工作的基准,GPT-6-Astra 在 OpenAI Codex 环境中答对 50 题中的 49 题,平均单题成本低于 $3,全程约 $116;Anthropic Opus 5.5 在 Claude Code 中以 92% 位居第二,Gemini 3.8 Flash 得 68%。
何恺明团队在论文《VISTA: A Visual Harness for Reasoning in an Interactive World》中提出视觉原生 Harness 框架 VISTA,让现有多模态模型直接观察环境、保存原始画面,并在推理时随时回看、放大和检查细节,无需从头训练。
WorldArena 2.0 Challenge 在 IROS 2026 揭晓终榜,视启未来 WorldIncept 以 72.33 分拿下 Track 1 视频质量赛道第一,同济大学 BWM-Turbo 以 71.49 分位列第二。
GitHub 发布 ReviewBench,一个面向 AI 代码审查智能体的开放离线基准,研究预览版已上线官网。基准基于 1.039 亿个 GitHub pull request 的分布构建,包含 19 种语言、187 个开源仓库的 219 个 pull request,采用多来源 golden set 与统一评分标准,发布前由资深工程师独立复核,真阳性判断一致率 96.6%。
推荐理由:GitHub 公开了代码审查基准的构建方法与评测口径,读者可据此判断自家审查智能体的强弱项。