跳到正文
量子位· 思邈·· 22 天前AI 评分22

是石科技 Meta-Infer 让 PCIe 显卡 DeepSeek 推理吞吐提升 6.87 倍

PCIe显卡被低估了!内核补齐+通信重构,DeepSeek推理吞吐翻近7倍

AI 导读

是石科技自研 Meta-Infer 高效部署引擎,通过内核补齐与通信重构,让 DeepSeek-V4.1-Flash 在 8 张 PCIe-Only 显卡上输入吞吐从 1932 tok/s 提升至 13274 tok/s,达 6.87 倍,并支持 1M 超长上下文。

来源:量子位 · qbitai.com