量子位· 田, 晏林·· 21 天前AI 评分74
开源框架 Colibrì 用 SSD 当显存,25GB 笔记本跑 744B GLM-5.2
笔记本跑7000亿参数GLM!无GPU也行? SSD当显存用火爆GitHub
AI 导读
GitHub 开源项目 Colibrì 用纯 C 实现分层推理,把 MoE 模型的路由专家放在 NVMe SSD 上按需读取,让 744B 的 GLM-5.2 在最低 16GB、推荐 24GB RAM 的机器上运行,不强制要求 GPU,项目已获 32k Star。
来源:量子位 · qbitai.com