注意力也是FFN？从快权重出发重新理解高效注意力 | NeurIPS'26

研究从快权重视角出发，提出注意力机制本质上可视为一种 FFN，从而重新理解 Transformer 中注意力与前馈网络的关系。该工作被 NeurIPS'26 收录，为高效注意力设计提供了新的理论视角。