百度开源文心5.5 Flash Base,2800亿参数MoE基座模型
11月5日,百度正式开源基座模型文心5.5 Flash Base(ERNIE 5.5 Flash Base),采用MoE架构,总参数量2800亿,每Token激活140亿参数,使用33.5万亿Token预训练,预训练上下文最长128K,微调与推理支持最长100万Token上下文。
11月5日,百度正式开源基座模型文心5.5 Flash Base(ERNIE 5.5 Flash Base),采用MoE架构,总参数量2800亿,每Token激活140亿参数,使用33.5万亿Token预训练,预训练上下文最长128K,微调与推理支持最长100万Token上下文。
百度Apollo正式披露世界模型ApolloWorld,可生成交通参与者具备决策能力的虚拟城市,供无人车完成完整行程级虚拟路测,已应用于萝卜快跑的全球化测试与验证。按披露数据,其一天虚拟路测里程相当于一辆带安全员的真实测试车连续行驶约三年;百度还提出面向物理AI的2+3世界模型评价框架,涵盖因果性、交互性与物理准确性、持久性、实时性,并称新一代L4端到端模型已在国内一定规模车辆上投入运营。
百度Apollo于11月3日发布面向物理AI的全模态世界模型Apollo World,提出“2+3”评判标准,已用于萝卜快跑全球化测试验证。该模型将交通参与者建模为具备决策与交互能力的AI智能体,支持完整出行任务的闭环模拟,号称可“日行十万公里”,相当于真实路测车连续测试约三年。萝卜快跑已落地全球28座城市,累计完成超2300万次出行服务,自动驾驶总里程超3.5亿公里。
Nvidia 开源数据引擎 Flora,可在 512 块 GB300 GPU 上每天标注最多 20 万小时机器人视频,成本约 $0.72/小时,远低于 GPT-6 Astra 的约 $88.49。
高德与阿里ATH事业群发布基于开放世界行为的全身基座模型λ0,仅用人类行动数据即可让机器人学习移动、姿态与双手操作的全身协调。在SIMPLE仿真基准和真机评测中取得SOTA,采集效率约为主流方法3.4倍,真机任务成功率较最强基线提升22.5%;配套构建500小时HumanVerse-500数据集,硬件配置代码已在GitHub开源,数据样例上线HuggingFace。
蚂蚁数科于10月22日发布决策模型 LingDT-Decision-1.0,提供4B和27B两个版本,已在 DTMaaS 平台上线,开发者可限时免费体验。在真实业务测试中,相比大语言模型,其 Token 消耗降低超90%,响应时效提升10倍。
记忆张量开源MemT 1.0系列,含36B激活3B的MemT-1.0-Nano和288B激活17B的MemT-1.0-Flash,在选定Transformer模块中加入与注意力并行的记忆分支,将经验编码为内部动态状态并通过训练学习写入、更新和读取。
记忆张量发布并开源 MemT 1.0 记忆原生大模型,将动态记忆状态内化进底层架构,模型通过训练学会读写、更新和调用记忆。
Reflection 发布 Beam,一个面向编码、智能体和科研的纯文本 MoE 模型,总参数 501B、激活 23B,从零训练,完整权重将以 Apache 2.0 在本月放出。
微软研究院发布 Quine,一个面向生物学复杂性的 AI 研究系统,由跨序列、结构、功能、细胞状态和成像等多模态数据训练的生物世界模型,以及连接模型、科学工具、文献与实验人员的交互式 harness 组成。
推荐理由:微软研究院公开 Quine 的多模态生物世界模型与实验闭环设计,并给出胰腺癌化合物筛选的湿实验验证结果。
微软研究院发布 GigaPath-Flash 和 GigaTIME-Flash,用蒸馏自十亿参数 GigaPath 编码器的 22M 参数 ViT-S 骨干替代原模型,在 PANDA 前列腺分级和 EBRAINS 脑肿瘤分型基准上以约 50 倍更少算力达到原 GigaPath 3% 以内的性能。