10/10晚间版
要闻
vLLM 在 Vera Rubin NVL72 上服务 MiniMax M3，AgentX 吞吐超 GB200 7.8 倍
vLLM: vLLM 称该倍数来自两项基准，其中 AgentX 一项是在相同交互速度下测得的吞吐对比𝕏
SemiAnalysis 分析: SemiAnalysis 称其利润估算基于 Agentic Inference Profit Calculator，连略低于前沿的开源模型也能达到该利润水平𝕏
MiniMax 转述: 点名感谢 vLLM、inferact、NVIDIA AI 与 Red Hat 把 M3 带上 Rubin𝕏
SGLang 在 Vera Rubin 上优化 Kimi K3 NVFP4 推理，FP8 MLA 与 KDA 验证最高提速 20%
LMSYS 转述: LMSYS 转述 SGLang 公告：针对 Kimi K3 NVFP4 的提速覆盖 attention、MoE 与投机验证三部分𝕏
关注后可跟此人更新与他说过的话，需用手机号登录
去登录先看看