ARTICLE DETAIL / 01

单用户解码快44%,批量64时只剩15%

2026-11-21 4359 热点资讯
ARTICLE 2026 INSIGHT / UPDATE / STORY
单用户解码快44%,批量64时只剩15%
摘要

SGLang 0.5.23 于 2026 年 11 月 2 日发布,包含来自 257 位贡献者的 1007 个 PR。这一版最受关注的内容,是一个需要手动开启的「低延迟模式」:NVIDIA megakernel 插件和 AMD monokernel 插件,把解码过程作为融合的持久化内核来运行。 发布说明给出的数字是:在 GB300 上,DeepSeek-V4.1-Flash 的单用户解码最高快 4

SGLang 0.5.23 于 2026 年 11 月 2 日发布,包含来自 257 位贡献者的 1007 个 PR。这一版最受关注的内容,是一个需要手动开启的「低延迟模式」:NVIDIA megakernel 插件和 AMD monokernel 插件,把解码过程作为融合的持久化内核来运行。 发布说明给出的数字是:在 GB300 上,DeepSeek-V4.1-Flash 的单用户解码最高快 44% ;在 MI350X 上最高快 75% 。这两个数字需要换算一下才好理解——44% 的加速意味着单步时间减少了 30.6% ,75% 的加速意味着减少了 42.9% 。被抹掉的这部分,正是启动间隙和集合通信等待。 它到底替换了什么 两个插件都通过 SGLang 的通用插件入口 sglang.srt.plugins 加载,不是对核心代码的重写。不传 flag 时,SGLang 按原样运行;0.5.23 的 CUDA 镜像里,插件处于「未激活」状态,除非设置 --enable-nvidia-megakernel。 开启后,SGLang 在参数解析阶段、权重加载之前就检查配置。模型 runner 准备好受支持的模型后,构建 megakernel 并替换该模型实例的 forward。替换后的路径只接管被覆盖的步骤,其余步骤仍走模型自己的 forward。对 DeepSeek-V4.1-Flash 来说,更大的 verify 步骤、prefill 和 extend 都走标准路径。 覆盖面是刻意收窄的。NVIDIA 的表格列出 DeepSeek-V4.1-Flash 在 GB300 和 B300 上、张量并行度为 4、投机验证步为 1 到 384 行(每请求 6 行,即 batch 1 到 64)。B300 上的速度只测了单请求。表格其他行覆盖 Qwen3.5、Kimi K3、Kimi K3.1、GLM-5.3 和 GLM-5.2,各有自己的限制。两个 README 都挂着「实验性」横幅,说明内核、支持的配置和开关本身都可能变化。 为什么一个小批次能快这么多 AMD 的 README 把机制说得很直白:monokernel 是一个持久化内核,把解码层的大部分工作——包括注意力、专家混合块和两次张量并行 all-reduce——放进一到两次启动里完成。它要消除的,是「主导小批量解码的启动间隙和集合通信延迟」。 batch 1 时,解码一步每层搬运的数据量很小。GPU 很快算完一个小内核,然后等下一次启动,或者等 all-reduce 完成才能开始下一个算子。NVIDIA 的 README 从另一侧描述了这个修法:内核之间通过 mailbox 和程序化依赖启动传递输出,不再跨越逐个算子的边界。 张量并行度为 4 时,每一层都要付若干次集合通信的代价。每一次都是一个同步点,四块 GPU 一起等最慢的那块。把 all-reduce 融进同一个持久化内核,下一阶段可以在数据到达时立刻开始,而不必等一次独立启动。 44% 在单步时间里是什么概念 加速比很容易读错。每秒 token 数提升 44%,意味着每个 token 只花原来时间的 1/1.44。换算下来,GB300 上约 30.6% 的单步时间被移除,MI350X 上约 42.9% 。 也就是说,在最好的单用户场景下,GB300 单步里大约三分之一是间隙与同步开销,MI350X 上大约五分之二。这本身就是个有用的诊断指标:如果你自己的 batch 1 解码 trace 里,内核之间的空闲时间也占类似比例,那这类优化就有戏;如果 trace 显示 GPU 从头忙到尾,你拿不到这样的数字。 批量一大,收益为什么缩水 被移除的开销基本是按步计的,不是按请求计的。而有效工作——专家矩阵乘、对更多 KV 条目的注意力——会随批量增长。同样一份绝对节省,放在更大的步里,占比就小了。 一个刻意简化的示意模型(不是实测):假设 batch 1 时一步耗时 100 个时间单位,其中 30.6 是可移除的间隙,与 44% 的说法对应;假设剩余工作每多一个请求增长 3%。按这个模型,batch 1 增益约 44.1%,batch 2 约 42.8%,batch 4 约 40.5%,batch 8 约 36.4%,batch 16 约 30.4%,batch 32 约 22.9%,batch 64 约 15.3%。 3% 这个增长率是为示意而设的。要点在方向:固定的节省除以增长的分母。真实曲线取决于专家路由、KV 长度,以及标准路径在大批量下本来就把自己的间隙重叠得有多好。README 也说明 B300 上只测了单请求,更大批量依赖内核测试——这与收益最强的位置是一致的。 还有一层:开启投机解码后,verify 步里的「行

about image
相关标签 热点资讯 球速体育
分享这篇内容
MORE TO READ / 03

推荐阅读

继续浏览相关内容,获得更完整的行业信息和平台观察。

伊朗获美国史无前例赔偿:首次在诉讼中取得成果,并没收美国资产
2026-10-28

伊朗获美国史无前例赔偿:首次在诉讼中取得成果,并没收美国资产

据伊朗媒体10月25日报道,伊朗获得了美国因制裁造成大疱性表皮松解症(又称“蝴蝶皮”病)患者受损的赔偿。该通讯社援引为这种罕见严重遗传病患者提供综合支持的非政府组织“EB之家”负责人哈米德·哈希米·戈尔帕耶加尼的话报道了这一消息。 这位负责人在德黑兰与患者及其家属的会议上表示:“在伊朗伊斯兰共和国48年的历史中,这是我们首次在此类针对美国的诉讼中取得财务成果,并没收了美国的资产。” 他还指出,司法

阅读全文
为了602欧元,巴萨和马竞对簿公堂,解约金5亿欧的阿尔瓦雷斯更尴尬了
2026-10-29

为了602欧元,巴萨和马竞对簿公堂,解约金5亿欧的阿尔瓦雷斯更尴尬了

一张602欧元的罚单放在如今动辄违约金上亿欧元,转会费数千万的转会市场上,几乎微不足道。为了这张罚单,巴萨选择了和马竞对簿公堂,接下来的上诉费用都会远超这个数字,但巴萨还是选择这么做了。 开出这张罚单的是西班牙足协,被罚的俱乐部是巴塞罗那,罚款金额是602欧元,原因:巴萨违反足协纪律条例第 133 条——"违反命令、指示、协议或规章义务",罚款 602 欧元。 罚单背后的故事也并不复杂,今年夏窗巴

阅读全文
韦德谈阿德巴约慢热:他不能脱离进攻体系 必须得多触球
2026-11-04

韦德谈阿德巴约慢热:他不能脱离进攻体系 必须得多触球

直播吧11月4日讯 今日,NBA名宿德维恩·韦德在Wy Network by Dwyane Wade节目中谈及热火球星阿德巴约开局慢热一事。 德维恩·韦德说:“困境确实存在,这是无法回避的现实,阿德巴约在球场中路的处理球已经非常出色。但他这场连一次挡拆都没打。阿德巴约本是挡拆顺下接空接的好手,但这场比赛毫无体现。他也没能落位到腰位去背身单打。——阿德巴约,你不能被对手逼到底角,更不能在进攻端被边缘

阅读全文
《谷雨》豹哥临终前才明白,周海洋娶林如意,自己还在替他数钱
2026-11-13

《谷雨》豹哥临终前才明白,周海洋娶林如意,自己还在替他数钱

豹哥最后那个表情,很多人第一次看的时候都理解成"不甘心"。倒回去重看一遍就明白了,那不是不甘心,是懵。他到咽气那一刻都没想通一件事:那个从码头上捡回来、跪在地上给他敬过茶、还替他挨过刀的内地人,怎么就变成了把他死死按在原地的那只手。豹哥这个人信的东西特别简单,大哥带小弟,小弟听话,刀钝了拿去磨,刀断了直接换。他就用这一套活了半辈子,也用这一套去看周海洋。 周海洋替他卖命,他心里记一笔:这人可用。周

阅读全文