跳到正文

技术方向

部署工程 最新动态

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

20 条精选近 30 天 15 条共收录 472 条

更新

部署工程的精选

10月28日周三第 1–20 条
  1. NVIDIA Blog64

    NVIDIA RTX Spark 笔记本上新并推出 Nemotron 3.5 Transcribe 与 GPU 资源管理功能

    NVIDIA 官宣 ASUS、Dell、HP、Lenovo、Microsoft 和 MSI 的 RTX Spark 轻薄笔记本上市,起价 $2,599,超芯片集成 Blackwell RTX GPU 与 Grace CPU,最高 128GB 统一内存、1 petaflop FP4 AI 性能。

    推荐理由:原文汇总了 RTX Spark 笔记本新品与语音模型、GPU 资源分配等本地 AI 更新,读者可借此了解端侧模型落地的最新入口。

  2. AWS Machine Learning Blog63

    Property Finder 在 Amazon Bedrock 上修复评测偏差并用 Llama 4 Maverick 17B 降低 86% 成本

    Property Finder 与 AWS Generative AI Innovation Center 发现其 96.8% 的评测标签直接继承自现有 VLM 的预测,导致替代模型被系统性低估。

    推荐理由:文章指出用现有模型预测充当标注会扭曲模型对比,并给出重建专家标注与演化式提示词优化的可迁移方法。

10月27日周二
10月23日周五
  1. 钛媒体77

    马斯克把 SpaceX 做成了算力收租生意:AI 业务首季成最大收入来源

    SpaceX 2026 年第三季度营收 145.75 亿美元、同比增长 161%,净利润 44 亿美元,其中 AI 业务 Super Intelligence 收入 75.6 亿美元、占总营收 52%,首次超过星链。

    推荐理由:文章拆解了 SpaceX 算力集群的建设速度、租约结构和回本数据,并对照了黄仁勋与云厂商的部署周期。

10月22日周四
10月21日周三
  1. NVIDIA Blog64

    NVIDIA 在 GTC Berlin 展示 RTX Spark、DGX Spark 与 DGX Station 本地 AI 硬件阵容

    NVIDIA 在 GTC Berlin 展示本地 AI 硬件全线产品:RTX Spark 面向 Windows PC 个人智能体,DGX Spark 支持最多 8 台集群,DGX Station 提供 748GB 一致性内存和 20 petaflops 性能,Windows 版 DGX Station 12 月推出。

    推荐理由:原文汇总了 RTX Spark、DGX Spark 和 DGX Station 的本地 AI 硬件阵容与配套软件、模型支持,可据以判断本地智能体部署选项。

  2. NVIDIA Blog68

    NVIDIA GTC Berlin 2026 主题演讲:黄仁勋发布 DSX POD、OpenShell 与 Agile ONE SN

    NVIDIA CEO 黄仁勋在 GTC Berlin 2026 主题演讲中宣布欧洲 AI 布局与多项新品,称欧洲已开始建设 AI 经济,NVIDIA 在欧洲投入近 100 亿美元、合作超过 12,000 家伙伴。

    推荐理由:官方实录覆盖发布、AI 工厂、Agent 安全与机器人平台,读者可以此梳理 NVIDIA 在欧洲的整条布局。

10月17日周六
  1. AWS Machine Learning Blog63

    Reflection AI 开源 Beam 智能体编码模型,AWS 给出三条部署路径

    Reflection AI 发布开源权重模型 Beam 1.0,面向智能体编码和长程任务,总参数 501B、激活参数 23B,有效上下文长度 100 万 token,权重以 Apache 2.0 许可通过 Hugging Face 发布,提供 BF16、FP8 和 NVFP4 三种 checkpoint。

    推荐理由:原文来自 Reflection 与 AWS 团队,给出 Beam 的参数构成和三条部署路径,读者可以据此选择适合自己控制需求的上线方式。

10月10日周六
10月8日周四
  1. 爱范儿78

    微软发布 Surface Laptop Ultra 与混合智能 Windows 更新

    微软在特别发布会上推出 Surface Laptop Ultra,搭载 NVIDIA RTX Spark Superchip,最高 128GB 统一内存,可在本地运行超过 1200 亿参数模型,起价 2599 美元,10 月 7 日开放预订、10 月 16 日发货。

    推荐理由:微软把 Windows 从 Copilot 入口推进为本地与云端调度 Agent 的平台,读者可据此判断 AI PC 的硬件与软件分工走向。

  2. 爱范儿80

    微软与英伟达发布 RTX Spark 平台及 Surface Laptop Ultra

    微软在 Windows 与 Surface 特别活动上联合英伟达发布 RTX Spark 计算平台,这是一块集成 CPU、GPU 和最高 128GB 统一内存的 ARM 架构 SoC,最高 1 PFLOP FP4 AI 算力,可本地运行 1250 亿参数模型。

    推荐理由:微软与英伟达联合推出 RTX Spark 平台和 Surface Laptop Ultra,读者可据此了解本地运行大模型的 PC 新形态及其定价。

  3. AWS Machine Learning Blog66

    AWS 上线 Claude Haiku 5.5

    AWS 宣布 Claude Haiku 5.5 在 Amazon Bedrock 和 Claude Platform on AWS 上线,Anthropic 称其为 Claude 5.5 系列中速度最快、最高效的模型,面向子智能体和高并发、成本敏感场景,多数任务成本比 Claude Haiku 4.5 低约 75%。

    推荐理由:AWS 官方给出 Haiku 5.5 的定位、成本变化与 Bedrock 接入方式,便于判断它在多智能体分层中的位置。

  4. NVIDIA Blog78

    NVIDIA 与微软发布 RTX Spark 及面向 Windows 的智能体基础设施

    在旧金山微软 Windows AI 与 Surface 活动上,NVIDIA 与微软宣布为 Windows PC 上的 AI 智能体共同设计软硬件,微软宣布 Microsoft Execution Containers(MXC)正式可用,作为让智能体在操作系统控制下安全持久运行的系统级基础设施。

    推荐理由:英伟达与微软把智能体运行所需的系统级容器和本地算力硬件一并给出,读者可据此判断本地智能体的落地条件。

  5. GitHub Blog · AI & ML62

    GitHub 推出基于 ModernBERT 的密钥检测模型,扩展 push protection

    GitHub 发布与 Microsoft Applied Sciences 合作微调的 ModernBERT 分类器,用上下文判断非结构化密钥,可在 2 毫秒内评估一批候选密钥,据称能把可拦截的密钥数量提升一倍以上。

    推荐理由:GitHub 用九个季度的数据说明密钥泄露与代码量同步增长,并给出把检测前移到 push 环节的模型方案。

  6. Microsoft Research71

    微软研究院开源 Agent Lightning v1.0:约 3500 行的轻量智能体 RL 框架

    微软研究院开源 Agent Lightning v1.0,一个约 3500 行代码的轻量智能体强化学习框架,提出 Harnessed Agentic RL 训练范式,让部署时使用的 agent harness 直接参与训练,无需在训练框架内重新实现智能体。

    推荐理由:微软研究院开源 Agent Lightning v1.0,给出约 3500 行代码的智能体 RL 框架与真实 harness 训练路径,可据此评估训练与部署一致性问题。

10月2日周五
  1. NVIDIA Blog62

    NVIDIA DGX Spark 推出 64GB 版本,支持双机集群扩展本地 AI

    NVIDIA 将于本月通过 Acer、ASUS、Dell、Gigabyte、HP 和 MSI 等厂商推出 64GB 统一内存版 DGX Spark,10 月 23 日开售,起售价 4,999 美元,可完全在本地运行最高 1000 亿参数模型。

    推荐理由:原文给出 64GB 新配置的价格、上市时间和双机集群性能数据,可据此判断本地跑大模型的成本与扩展方式。

9月24日周四
  1. Microsoft Research62

    微软研究院:将物理 AI 推理卸载到边缘或云端可提升机器人表现与续航

    微软研究院对移动操作机器人工作负载做了首次系统性研究,发现把物理 AI 推理从机器人端侧 GPU 卸载到边缘或云端 GPU,可提升任务成功率、支持更大模型并延长续航。

    推荐理由:微软研究院系统测量了机器人端侧推理的瓶颈,并给出可复用的 Kubernetes 卸载工具链,读者可据此判断物理 AI 的部署取舍。

7月29日周三