10/18SGLang 权重缓存守护进程让 Ling-2.6-1T FP8 引擎重启从 495 秒压到 0.63 秒
SGLang 权重缓存守护进程让 Ling-2.6-1T FP8 引擎重启从 495 秒压到 0.63 秒
方案以博客形式公开，LMSYS 点名致谢蚂蚁 Ling Infra 团队与阿里云
疑似或传闻 当事方还没回应迹象指向 依据接口、代码提交等公开痕迹作出的推断转述 二手说法，不是原话
事件
LMSYS𝕏
| 看什么 | 现在的情况 | 依据 |
|---|---|---|
| 事实 | 方案以博客形式公开，LMSYS 点名致谢蚂蚁 Ling Infra 团队与阿里云 | |
| 官方 | LMSYS |
关注后可跟此人更新与他说过的话，需用手机号登录