跳到正文
量子位· 鹭羽·· 16 天前AI 评分59

记忆张量开源MemT 1.0系列,近300B参数规模验证记忆原生路线

RSI三块关键拼图,MemT 1.0从模型层补上「记忆」

AI 导读

记忆张量开源MemT 1.0系列,含36B激活3B的MemT-1.0-Nano和288B激活17B的MemT-1.0-Flash,在选定Transformer模块中加入与注意力并行的记忆分支,将经验编码为内部动态状态并通过训练学习写入、更新和读取。

来源:量子位 · qbitai.com