量子位· 听雨·· 21 天前AI 评分36
谷歌TPU跑Kimi K3比英伟达GB200快57%,Inferact用DeepSeek DSpark框架开源megakernel
谷歌TPU跑Kimi比英伟达GPU快57%!用的还是DeepSeek推理框架
AI 导读
Inferact用16块谷歌TPU v7跑Kimi K3达到每秒709个token,比16块英伟达GB200的452个快57%,并已开源这套megakernel代码。该方案将92层MoE计算合并为单个Pallas程序,配合DeepSeek的DSpark推测解码框架,acceptance length达6,且GPQA-Diamond 94.4%、GSM8K 97.2%与GPU结果一致。
来源:量子位 · qbitai.com