公众号 · 差评X.PIN·· 10 小时前AI 评分60
Anthropic 研究:电视盒子也能跑大模型并跨设备传播
要什么英伟达,你家的电视盒子也能跑大模型。。。
AI 导读
Anthropic 公布一项研究,用 15 个单价几十美元、4GB 内存的杂牌安卓电视盒子,把量化后的 26B 参数 Gemma 模型拆成 15 份分别部署并联网串联运行,实测每秒只能输出 0.39 个 token。
来源:公众号 · 差评X.PIN · mp.weixin.qq.com
要什么英伟达,你家的电视盒子也能跑大模型。。。
Anthropic 公布一项研究,用 15 个单价几十美元、4GB 内存的杂牌安卓电视盒子,把量化后的 26B 参数 Gemma 模型拆成 15 份分别部署并联网串联运行,实测每秒只能输出 0.39 个 token。
来源:公众号 · 差评X.PIN · mp.weixin.qq.com