公众号 · 新智元·· 1 天前精选AI 评分60
清华团队开源 Puro-2B：RTX 5090 预训练成本不到 5090 美元
小团队也能预训练！普罗2B：RTX5090训练成本不到5090美元
AI 导读
清华大学陈文光、吕凯风团队推出全流程开源的 Puro-2B（普罗-2B），开源训练数据、训练框架、训练配置和模型权重，在 RTX 5090 集群上从头训练约 20 亿参数模型，最多使用 1.4 万亿 token。
选题角度
清华团队开源 Puro-2B 全流程，用 RTX 5090 以约 4400 美元预训练成本在 15 项任务上超过 Qwen2-1.5B，适合拆解这套低成本预训练配方。
互动数据
- 阅读
- 1422
- 点赞
- 8
- 评论
- 0
- 分享
- 117
- 收藏
- 36
数字来自平台，为最近一次抓取时的数据。
来源：公众号 · 新智元 · mp.weixin.qq.com