跳到正文
量子位· 田, 晏林·· 21 天前AI 评分74

开源框架 Colibrì 用 SSD 当显存,25GB 笔记本跑 744B GLM-5.2

笔记本跑7000亿参数GLM!无GPU也行? SSD当显存用火爆GitHub

AI 导读

GitHub 开源项目 Colibrì 用纯 C 实现分层推理,把 MoE 模型的路由专家放在 NVMe SSD 上按需读取,让 744B 的 GLM-5.2 在最低 16GB、推荐 24GB RAM 的机器上运行,不强制要求 GPU,项目已获 32k Star。

来源:量子位 · qbitai.com