AWS Machine Learning Blog· Kevin Shabahang·· 16 天前AI 评分42
i14 的 Laplace 3B 线性注意力模型如何在 AWS Trainium2 上以原生 PyTorch 完成训练与服务
Beyond the KV cache: Training and serving i14’s Laplace 3B linear attention model on AWS Trainium2 with native PyTorch
AI 导读
i14 推出线性注意力模型 Laplace 3B，用 Gated Linear Attention 将推理状态固定在每序列 29.5 MB，不随上下文增长。
来源：AWS Machine Learning Blog · aws.amazon.com