量子位· 思邈·· 22 天前AI 评分22
是石科技 Meta-Infer 让 PCIe 显卡 DeepSeek 推理吞吐提升 6.87 倍
PCIe显卡被低估了!内核补齐+通信重构,DeepSeek推理吞吐翻近7倍
AI 导读
是石科技自研 Meta-Infer 高效部署引擎,通过内核补齐与通信重构,让 DeepSeek-V4.1-Flash 在 8 张 PCIe-Only 显卡上输入吞吐从 1932 tok/s 提升至 13274 tok/s,达 6.87 倍,并支持 1M 超长上下文。
来源:量子位 · qbitai.com