SGLang 与 Miles 为 DeepSeek-V4.1 提供首日支持

DeepSeek-V4.1 在架构层面引入了三项核心机制。首先是低比率压缩与滑动窗口注意力：每层为最近 128 个位置维护 fp8 滑动窗口缓存，部分源层生成 fp4 压缩表示用于长程注意力，每个查询最多可检索 512 个压缩位置。其次是流形超连接（mHC），每个子层通过依赖 token 的混合系数读写四条并行残差流，允许系数投影与当前注意力或 FFN 计算重叠执行。第三是 Engram 记忆，第 1 层和第 14 层从两张大型 fp8 表中按哈希 n-gram 检索行并注入残差流。

跨层共享机制是 DeepSeek-V4.1 推理效率的重要来源。四个 KV 源层生成压缩 KV 和索引键，消费层直接读取最近源层的结果，避免在每个消费层重复存储和生成。第 20 层为每个查询最多选取 2048 个块，并将候选结果发布给后续索引源层共享使用。八个索引源层各自评分并选取最多 512 个压缩位置，其余压缩注意力层则直接复用最近一次的选择结果，无需重新运行索引器，大幅降低了计算冗余。

Engram 表共占 189 GiB 权重，每次解码步骤仅读取少量行，但若保留在 GPU 显存中会严重挤占 KV 缓存空间。SGLang 实现了主机内存卸载方案，将 Engram 表移至主机内存，去量化、门控和值投影仍在 GPU 上执行。系统支持共享布局和私有布局两种方式。在 GB300 容器环境中，私有匿名映射支持大页内存而共享映射不支持，因此自动选择私有分片方案，以保留查找全归约为代价换取更快的主机访问速度。实测结果显示 KV 缓存容量提升 36%，解码吞吐量和首 token 延迟基本持平。

SWA 有界重放技术针对滑动窗口 KV 缓存的存储与计算开销提出了优化方案。编码器侧有界重放移除了窗口检查点要求：前缀缓存仅保留压缩 KV 和索引键，缓存命中时 SGLang 重新计算前缀最后 128 个 token 以重建窗口 KV，以有界重计算换取更低的缓存存储需求。解码器侧尾部计算则针对第 21 至 39 层，每个预填充块仅对每个请求最后 128 个 token 执行这些层的计算，第 0 至 20 层仍保持全上下文计算，从而显著降低预填充阶段的计算量。

有界重放作为一种近似方法，其正确性边界需要实证验证。由于重建边界处的局部注意力被截断，重计算的隐藏状态可能与完整预填充存在差异。团队在 8 条 8K token 提示的批次上进行了配对测试：解码器侧重放在 8x H200 上将预填充吞吐量提升 1.56 倍，在 4x GB300 上提升 1.37 倍。在 AIME 2026 配对评估中，重放开启与关闭均得到 480 个样本中 453 个正确的结果，表明该近似方法在实际任务中具有可靠的精度表现。两种模式均为可选功能，可单独或组合启用。

Miles 团队在强化学习训练侧同步完成了对 DeepSeek-V4.1 的适配，并完成了经过验证的训练运行。整体来看，SGLang 与 Miles 的首日支持覆盖了推理服务与训练两个维度，为社区快速部署和研究 DeepSeek-V4.1 提供了完整的基础设施支撑。Engram 主机卸载、SWA 有界重放等优化均以可选标志形式提供，用户可根据硬件配置和精度需求灵活选择，体现了工程团队在性能与正确性之间审慎权衡的设计理念。

要点

• SGLang 实现 Engram 表主机内存卸载，在 4x GB300 上将 KV 缓存容量提升 36%，解码性能基本不受影响
• 解码器侧 SWA 有界重放将预填充吞吐量在 8x H200 上提升 1.56 倍，在 4x GB300 上提升 1.37 倍
• AIME 2026 配对评估验证有界重放近似精度可靠，开启前后 pass@1 结果完全一致
• 跨层共享机制让压缩 KV、索引键和候选块在多层间复用，显著减少冗余存储与计算
• Miles 团队同步完成强化学习训练侧适配，SGLang 与 Miles 联合提供推理与训练的完整首日支持