Pika 基于 MiniMax H3 开源 H3 Flex,六步实现音视频联合生成
Pika 发布 MiniMax H3 衍生模型 Pika H3 Flex,开放适配器权重与推理代码,通过六步去噪联合生成画面和声音,支持文本、首尾帧和多模态参考输入。
Pika 发布 MiniMax H3 衍生模型 Pika H3 Flex,开放适配器权重与推理代码,通过六步去噪联合生成画面和声音,支持文本、首尾帧和多模态参考输入。
Nvidia 发布开源语音模型 Nemotron 3.5 Transcribe,支持 40 种语言转录、31 种语言与英语互译、13 种语言说话人识别,可处理最长 1 小时、最多 8 名说话人的录音。
Nvidia 发布免费开源权重语音转写模型 Nemotron 3.5 Transcribe,支持最多 40 种语言,可处理最长一小时的录音并区分最多 8 位说话人。该模型有 30 亿参数,可运行在从 Jetson AGX Thor、DGX Spark 到 Blackwell 数据中心芯片上,但目前仅支持录制音频而非实时流;Nvidia 同时发布了开源语音数据集 Granary 2。
科大讯飞在2026全球1024开发者节大会上发布端云一体的讯飞星火X2.6,含一个云端大模型和一个4B端侧模型,按任务难度和数据敏感度决定任务在本地、两端协同还是上云,训练采用全国产算力。
Jack Dorsey 旗下 Block 的研究实验室发布全双工语音模型 Dessa,可同时说话和倾听,能自然呈现笑声、停顿和哭泣等情绪,完全基于人类语音训练,可在 MacBook M4 Max 等消费级设备上单张 NVIDIA GPU 本地运行。Block 称 Dessa 的知识来自对话数据,无需搭配 LLM。该模型目前尚未公开,Block 正召集安全研究人员测试。
Square 和 Cash App 母公司 Block 推出语音模型 Dessa,称其为首个完全用人类语音训练、不含文本数据的模型。它直接处理音频,可实时感知情绪、讽刺、笑声和停顿,支持全双工通信,能在 MacBook Pro M4 Max 上本地运行。该模型尚未公开,团队正招募 AI 安全研究员测试风险。
Jack Dorsey 旗下 Block 发布名为 Dessa 的 AI 模型,完全从人类对话数据从零训练,是真正的 speech-to-speech 模型。该模型可在 MacBook Pro M4 Max 或更高配置上本地运行,官网展示了它与人类聊天的多个示例,包括一段与 OpenAI GPT-Live-1 语音模型的对话,Dessa 表现得更为自然。
ElevenLabs 于 10 月 20 日发布两款语音到语音模型 Eleven Realtime。v1 Max 在 Big Bench Audio 基准上得分 98.8%,响应时间 0.57 秒;v1 Mini 面向低成本的日常对话,能区分说话结束和附和语。两款模型可通过 ElevenAgents 平台和 OpenAI 兼容的 Realtime API 使用,按分钟加 token 计费。
Mistral AI 发布面向实时语音智能体的 Voxtral 3 模型家族,包含语音转文本模型 Voxtral Small Transcribe 3、文本转语音模型 Voxtral Mini TTS 3 和基于 LiveKit 的语音智能体 SDK,将听、思考、工具调用和说话整合为单一流式管线。
蚂蚁百灵开源 Ming-3.0 语音系列,将「声音创作、长语音分析、业务语音转写」三类任务拆成三套模型、五款产品,开发者可按任务选型、按需组合。其中 Ming-3.0-tts 的亮点是「导演模式」,其 Voice Design 支持用文字描述目标音色,也支持参考音频定音色。
Google DeepMind 推出 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两款语音生成模型,前者面向角色设计与逐行表演指导,后者面向高并发配音和语音智能体。
推荐理由:官方给出两款 TTS 的定位差异、可用入口与基准排名,便于判断语音生成在创作与规模化场景中的分工。
Google DeepMind 发布 Gemini 3.8 Live 和 Gemini 3.8 Live Extended Thinking 两款实时对话模型,前者面向规模化与成本效率,后者面向高复杂度任务与多步推理。
推荐理由:官方给出两款语音模型的定位差异与多项语音基准成绩,可据此判断实时语音智能体的能力边界。