OpenAI 发布 LifeVal:衡量 AI 完成日常任务能力的基准
OpenAI 推出 LifeVal,一个衡量 AI 在完成日常任务方面表现的基准。该基准覆盖从寻找托儿服务到管理财务和政府文书等日常场景。
OpenAI 推出 LifeVal,一个衡量 AI 在完成日常任务方面表现的基准。该基准覆盖从寻找托儿服务到管理财务和政府文书等日常场景。
Microsoft Research 发布 Industry Evaluation Data Generation Platform,用完全合成的企业环境评测 Microsoft Copilot,避免使用任何客户敏感数据。
AWS 凭借 Amazon Connect 连续第四年被评为 2026 Gartner 联系中心即服务(CCaaS)魔力象限领导者。Amazon Connect Customer 是一套面向客户体验的 agentic AI 解决方案,覆盖从主动外呼、自助服务到坐席辅助的全生命周期,可在任意渠道以企业级规模运行,并支持可审计的生成式与智能体 AI 操作。报告发布于 2026 年 10 月 19 日。
OpenAI 旗下 Terminal X 的 Eval Agent 以 54 项评分标准 rubric 对输出进行评估,使用 GPT-6.1 Sol 后与资深投资人判断的一致率达 88.6%,多捕捉 25% 的偏离基金授权的情况。
Amazon SageMaker JumpStart 提供预训练模型目录,并可用 SageMaker Python SDK v3 部署模型、运行可重复的性能测试(测量延迟、输出长度和单请求生成速率),测试后删除 endpoint。
Microsoft 合伙人研究经理 Jennifer Neville 在 Microsoft Research Podcast 中讨论评测如何推动 AI 系统性能边界,以及模型在传统 benchmark 之外测试时出现的"意外失败"。她结合自身从数学、物理、认知科学到计算机科学的经历,分享与当前 AI 系统协作的实用建议,并强调当结果超出预期时应仔细审视数据。
GitHub 发布 ReviewBench,一个面向 AI 代码审查智能体的开放离线基准,研究预览版已上线官网。基准基于 1.039 亿个 GitHub pull request 的分布构建,包含 19 种语言、187 个开源仓库的 219 个 pull request,采用多来源 golden set 与统一评分标准,发布前由资深工程师独立复核,真阳性判断一致率 96.6%。
推荐理由:GitHub 公开了代码审查基准的构建方法与评测口径,读者可据此判断自家审查智能体的强弱项。