英伟达1.2万行代码优化Kimi K3 AI代码迭代超越人类审核
2026年10月16日，vLLM官方博客发布了一篇技术复盘文章，标题为《Hyper Optimizing Kimi K3 in vLLM: Moving Fast and Responsibly》。该文由英伟达CentML的工程师Benjamin Chislett撰写。他使用了1.2万行CuTe DSL编写的Megakernel，大幅提升了Kimi K3模型的推理速度。据SemiAnalysis测算，在相同的GB300 NVL72硬件上，K3达到了423 tok/s/user的推理速度，性能提升1.68倍。vLLM博客原文报告的数据则显示：在batch 1下超过840 tokens/s，多个测试配置下解码吞吐提升1.5—2倍。
真正值得关注的是博客中的一句话：“Agent-optimized inference code is outpacing our review and maintenance workflow.” 换句话说，AI生成的代码已经超过了人类团队的审查和维护速度。这意味着AI生成的代码，人类来不及审了。
Kimi K3不是普通模型，其Stable LatentMoE架构有896个专家，每次推理激活16个。这种极端稀疏的MoE在训练时是利器，但在推理时却是工程噩梦。据SemiAnalysis分析，K3一次前向计算的HBM带宽需求约1.5TB，每次前向触发超过120次All-to-All通信。解码阶段是典型的内存带宽受限场景，计算单元大部分时间在等待数据搬运。
传统推理引擎的解码过程由一系列独立内核完成，每个内核启动有开销，每一次内核间数据交换需经过显存读写。Megakernel的核心思想是算子融合，将分散的解码内核合并成一个高度融合的超级内核，减少启动开销、合并内存访问、让计算和通信尽可能重叠。这1.2万行代码的价值在于将“通用硬件跑通用模型”的默认效率替换成了“专用硬件跑专用模型”的极致效率。硬件没变，模型没变，改变的是数据在硬件上的流动方式。