跳到正文
雷峰网·· 1 天前AI 评分44

Transformer 架构还能咋改?严骏驰团队提供两条思路 | CNCC 2026

AI 导读

在 CNCC 2026 演讲中,上海交通大学教授严骏驰团队介绍了在现有 Transformer 架构上扩展容量的两项工作:JTok 为 token 引入可学习参数表,xHC 将残差流从四路扩展到十六路并采用稠密读取、稀疏写回。

来源:雷峰网 · leiphone.com