The Decoder· Maximilian Schreiner·· 21 小时前AI 评分40
开源基准 CloudOpsBench 揭示:推理是 AI 应对云运维的最大瓶颈
New open-source benchmark reveals reasoning as the biggest bottleneck for AI in cloud operations
AI 导读
密歇根大学 Ang Chen 团队发布开源基准 CloudOpsBench 1.0,包含 45 个 AWS 云运维任务,由资深 DevOps 工程师构建。Claude Fable 5.1 解出 60%,GPT-6 Astra 为 53%,无一模型全部完成。约 80% 的失败源于智能体误判任务范围、未检查相关服务或过早停止,约 20% 为错误操作且部分后果不可逆。
来源:The Decoder · the-decoder.com