清华团队开源Puro-2B低成本预训练方案

清华大学陈文光、吕凯风团队推出全流程开源的Puro-2B（普罗-2B），开源训练数据、训练框架、训练配置和模型权重。团队在消费级显卡RTX 5090集群上从头训练约20亿参数模型，最多使用1.4万亿token。 据团队介绍，以约4400美元的预训练计算成本，该模型在15项任务平均指标上超过Qwen2-1.5B；成本6900美元的最佳版本平均性能接近Qwen2.5-1.5B。上述性能对比为团队自述，尚未见第三方验证。

AI 根据报道生成 · 17 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。