跳到正文
今天11月5日周四3 条
  1. The Decoder40

    开源基准 CloudOpsBench 揭示:推理是 AI 应对云运维的最大瓶颈

    密歇根大学 Ang Chen 团队发布开源基准 CloudOpsBench 1.0,包含 45 个 AWS 云运维任务,由资深 DevOps 工程师构建。Claude Fable 5.1 解出 60%,GPT-6 Astra 为 53%,无一模型全部完成。约 80% 的失败源于智能体误判任务范围、未检查相关服务或过早停止,约 20% 为错误操作且部分后果不可逆。

11月4日周三
11月3日周二
10月29日周四
10月28日周三
10月26日周一
10月25日周日
10月24日周六
10月18日周日
10月15日周四
10月11日周日
10月10日周六
10月5日周一
  1. GitHub Blog · AI & ML62

    GitHub 发布 ReviewBench:面向 AI 代码审查的开放基准

    GitHub 发布 ReviewBench,一个面向 AI 代码审查智能体的开放离线基准,研究预览版已上线官网。基准基于 1.039 亿个 GitHub pull request 的分布构建,包含 19 种语言、187 个开源仓库的 219 个 pull request,采用多来源 golden set 与统一评分标准,发布前由资深工程师独立复核,真阳性判断一致率 96.6%。

    推荐理由:GitHub 公开了代码审查基准的构建方法与评测口径,读者可据此判断自家审查智能体的强弱项。