跳到正文

技术方向

多模态 最新动态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

16 条精选近 30 天 12 条共收录 159 条

更新

多模态的精选

11月4日周三第 1–16 条
10月30日周五
  1. 开源中国76

    Mistral 开源万亿参数模型 Mistral Large 4 权重

    Mistral 开源了 Mistral Large 4(内部代号 Le Chonk)的权重,模型有 1 万亿参数,原生支持多模态。报道称其为开放权重阵营中体量最大的模型,从零开始在欧洲基础设施上训练,并称在开放权重模型中编码能力最强,引用 Cognition 的私有基准 FrontierCode 2.0 测试端到端代码质量作为依据。

    推荐理由:报道给出 Mistral Large 4 的参数规模、多模态能力和编码基准表现,可作为开源模型竞争格局的参照。

10月28日周三
  1. AWS Machine Learning Blog63

    Property Finder 在 Amazon Bedrock 上修复评测偏差并用 Llama 4 Maverick 17B 降低 86% 成本

    Property Finder 与 AWS Generative AI Innovation Center 发现其 96.8% 的评测标签直接继承自现有 VLM 的预测,导致替代模型被系统性低估。

    推荐理由:文章指出用现有模型预测充当标注会扭曲模型对比,并给出重建专家标注与演化式提示词优化的可迁移方法。

10月22日周四
  1. Google Research68

    Google Research 发表 AI 辅助盲扫超声孕周评估研究,MAE 4.18 天达到临床非劣效

    Google Research 在 JAMA Network Open 发表前瞻多中心研究,评估基于盲扫超声的 AI 孕周评估模型跨临床环境与硬件的泛化能力。385 名 16-36 孕周参与者中,模型平均绝对误差 4.18 天,非劣效于专家超声医师的 4.48 天;芝加哥站 MAE 4.10 天,内罗毕站零本地调优下为 4.27 天。

    推荐理由:原文给出前瞻多中心实测数据,显示AI孕周评估在陌生设备和零本地调优下仍接近专家标准,可读性在跨环境泛化证据。

10月21日周三
  1. NVIDIA Blog72

    NVIDIA 扩展开源模型家族,覆盖语言、机器人、生物与量子计算

    NVIDIA 扩展开源模型家族以支持欧洲各行业构建本地化应用,新模型包括 Nemotron 3.5 Super VL 与 Nemotron 3.5 Bolt、Nemotron Retriever。

    推荐理由:原文汇总了 NVIDIA 跨语言、机器人、生物和量子领域的开源模型家族及各行业落地情况,读者可据此了解欧洲主权 AI 的开源布局。

10月16日周五
10月15日周四
  1. NVIDIA Blog65

    NVIDIA 发布 Nemotron 3.5 Super VL 120B 及两款 Bolt 端侧模型

    NVIDIA 发布开放模型 Nemotron 3.5 Super VL,120B 参数,主打多模态智能体任务,称在其级别中速度比次优模型快 5x,参数量约为自家最大推理模型的五分之一。

    推荐理由:官方披露了三个开放模型的具体参数量、量化方案和基准表现,并给出部署入口,便于读者按部署层级选型。

10月14日周三
  1. The Decoder80

    Meta 发布前沿模型 Muse Wonder 与 Muse Wonder Full

    Meta 发布前沿模型 Muse Wonder 的两个版本,Muse Wonder Full 在 Artificial Analysis Intelligence Index v4.3 上得分 56,Muse Wonder 得分 52,前代 Muse Spark 1.3 为 48。

    推荐理由:Meta 新模型在智能体与编码评测上大幅跃升,但事实知识与成本仍是短板,可据此判断其前沿位置。

  2. Google DeepMind92

    Google DeepMind 发布 Gemini 4 Argon 前沿模型

    Google DeepMind 发布 Gemini 4 Argon,面向开发者、企业、科研人员和普通用户开放,API 定价为每百万输入 token 2 美元、每百万输出 token 10 美元,缓存输入享 95% 折扣。

    推荐理由:官方给出 Argon 在编码、科研与安全上的具体案例和定价,可据此判断前沿模型在真实工作流中的落地程度。

10月9日周五
  1. 开源中国77

    Mistral 发布 Mistral Large 4:1 万亿参数、原生多模态

    Mistral 发布其史上最大模型 Mistral Large 4,代号 Le Chonk,为从零训练的原生多模态模型,1 万亿参数、520 亿稀疏激活。该模型即日起在 Mistral Studio 公开预览,权重将于月底发布。

    推荐理由:材料给出 Mistral Large 4 的参数量、稀疏激活与多模态定位,可据此了解其规模路线。

10月7日周三
  1. Google DeepMind71

    Google DeepMind 发布 EmbeddingGemma 2 开源轻量多模态嵌入模型

    Google DeepMind 发布 EmbeddingGemma 2,基于 Gemma 4 架构、740M 参数、Apache 2.0 许可,将文本、图像、音频、视频映射到统一嵌入空间。

    推荐理由:EmbeddingGemma 2 把文本、图像、音频、视频统一到同一嵌入空间,并给出端侧内存与向量截断数据,便于判断本地多模态检索的可行性。

10月1日周四
  1. Google DeepMind87

    Google DeepMind 发布 Gemini 4 Argon 前沿模型

    Google DeepMind 发布新前沿模型 Gemini 4 Argon,先通过 Fairwind Program 向受信任的网络安全防御方开放,随后逐步扩展至开发者、企业和消费者。

    推荐理由:官方给出 Gemini 4 Argon 在编码、企业知识与网络安全防御上的基准表现和分阶段开放方式,可据此判断前沿模型的能力边界与落地节奏。

9月29日周二
  1. Microsoft Research62

    微软研究院发布 Quine:面向生物学复杂性的 AI 研究系统

    微软研究院发布 Quine,一个面向生物学复杂性的 AI 研究系统,由跨序列、结构、功能、细胞状态和成像等多模态数据训练的生物世界模型,以及连接模型、科学工具、文献与实验人员的交互式 harness 组成。

    推荐理由:微软研究院公开 Quine 的多模态生物世界模型与实验闭环设计,并给出胰腺癌化合物筛选的湿实验验证结果。

9月25日周五
  1. Google DeepMind71

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,在原生实时对话模型上加入近实时视频生成,实现带口型同步、自然表情和流畅轮次的视觉化对话。

    推荐理由:官方给出 Live Avatar 的实时音视频耦合、异步工具调用与 97 语言同步能力,可据此判断企业级对话智能体的形态变化。

9月23日周三