transformers 已成为 vLLM 的推理后端，速度比肩定制实现

Hugging Face 宣布，transformers 在 vLLM 中的建模后端完成关键升级：在 Qwen3-4B 稠密、Qwen3-32B 稠密以及 Qwen3-235B-A22B-FP8 MoE 三类典型架构的对比测试中，transformers 后端在吞吐上已追平甚至反超 vLLM 的手工原生实现。模型作者只需提供 transformers 实现，就能在 vLLM 内获得原生级推理速度。

使用方式非常简单，只需在 vllm serve 命令里加上 --model-impl transformers 即可。该参数与张量并行、数据并行、专家并行等组合方式完全兼容，原有部署配置无需调整。需要注意的是，采用线性注意力的模型暂不支持，自定义非合规模型也可能无法直接工作。

新版本的工作机制发生根本变化。旧版只优化注意力路径，新版在推理时通过 torch.fx 对模型图做静态分析，再用 AST 重写源码，将可识别的算子模式映射到 vLLM 的 MergedColumnParallelLinear、QKVParallelLinear 等高度融合算子，从而支撑张量并行、专家并行乃至流水线并行。重写后的模型仍可走 torch.compile 与 CUDA Graphs 编译路径。

相比 vLLM 的定制实现，transformers 实现的另一大优势是训练与推理同源：同一份模型代码既能用于训练、评估、RL rollout，也能以原生速度推理，不再存在以往集成一次要写两套的痛点。这意味着模型作者不再被迫为推理额外维护一套代码。

整个基准测试脚本以 gist 形式开源，团队表示近期将撰写一篇更深入的技术博客，详细解释如何对模型图进行改写以命中 vLLM 的优化算子。

要点

• transformers 在 vLLM 中的建模后端，在多类 LLM 架构上吞吐已持平甚至超过 vLLM 原生实现。
• 只需在 vllm serve 时添加 --model-impl transformers 参数，即可让任意已实现 transformers 的模型在 vLLM 中以原生速度推理。
• 新版使用 torch.fx 做图分析，再用 AST 重写源码，把可识别模式映射到 vLLM 的融合算子（TP/EP/PP）。
• transformers 模型既可训练，也可推理，省去为不同框架重复移植模型的维护成本。