商汤大装置罗伟：异构混推如何提升Token生产效率

商汤大装置资深技术专家罗伟在2026全球AI芯片峰会上分享了异构混推实践，其日均Token服务量已从2月的0.46万亿增长至8月的4.5万亿。平台通过"横向编排"统一不同算力资源画像、动态调整芯片P/D角色分工，并推进从固定P/D配比走向Prefill Pool与Decode Pool动态资源池化，未来还将把Encoder、Attention、FFN等模块拆分为独立资源池。