普罗2B：用 RTX5090 以不到 5090 美元成本完成预训练，小团队也能玩

普罗2B 项目展示小团队也可进行十亿参数级、万亿 token 规模的大语言模型预训练，使用 RTX5090 训练成本不到 5090 美元。它填补了 124M 的 nanoGPT 与 2.8T 参数模型之间的中间档实践门槛。