vLLM 上线 DSpark 统一 decode 路径：Kimi K3 在 GB300 NVL72 上 decode 提速 1.5–2 倍

10/18vLLM 上线 DSpark 统一 decode 路径：Kimi K3 在 GB300 NVL72 上 decode 提速 1.5–2 倍

先看结论

这些标记是什么意思

疑似或传闻 当事方还没回应迹象指向 依据接口、代码提交等公开痕迹作出的推断转述二手说法，不是原话

最新进展vLLM 在 NVIDIA GB300 NVL72 上以 DSpark 实现 Kimi K3 decode 842 tokens/s（batch 1）

当前状态未定稿 · 转述

供给

SemiAnalysis𝕏

看什么	现在的情况	依据
后果		已在 GB300 NVL72 上跑 Kimi K3 的推理方升级 vLLM 即可拿到这部分提速，不用换硬件，单位 token 成本随 decode 吞吐摊薄
官方		vLLM

vLLMDSpark 用统一 CuTe DSL decode 路径融合 attention、MoE 与通信，batch 1 单流跑出 842 tokens/s𝕏

SemiAnalysis转述SemiAnalysis 称该优化已上游进入 vLLM，2.8T 参数的 Kimi K3 达每用户 423 tok/s、同硬件快 1.68 倍𝕏

产业解读

关键数字batch 1 单流 842 tok/s（vLLM 口径）对每用户 423 tok/s（SemiAnalysis 口径），同硬件 decode 快 1.5–2 倍（另一口径 1.68 倍），模型 2.8T 参数

时间点本版前约 3–4 小时内由 vLLM 与 SemiAnalysis 先后披露，优化已上游进入 vLLM

谁会受影响在 GB300 NVL72 上 serving Kimi K3 的推理服务商及其客户的 token 账单；不升级 vLLM 的同硬件方吞吐停在原档

这不是投资建议。

09:55

新当事方vLLM 在 NVIDIA GB300 NVL72 上以 DSpark 实现 Kimi K3 decode 842 tokens/s（batch 1）𝕏

HOURAHEAD关于 · 往期 · 2026-10-18 17:38