3500 行代码实现轻量级智能体强化学习框架

随着 AI 智能体从单一模型演进为由模型、工具和执行环境共同构成的复杂全栈系统，其能力越来越依赖于在模型外部进行协调的 harness 框架。强化学习（RL）是让智能体通过试错不断改进的有效手段，但传统 RL 训练系统通常要求开发者在训练框架内部重新实现智能体的交互循环，成本高昂，且训练版本与实际部署版本往往存在行为差异。

为解决这一问题，微软亚洲研究院提出了「Harnessed Agentic RL」训练范式，并以此为核心对 Agent Lightning 进行了全面重构，发布 v1.0 版本。该范式的关键创新在于：部署时使用哪个 harness，训练时就用哪个 harness 直接参与强化学习，从根本上消除了训练与部署之间的实现鸿沟。框架通过在智能体与底层大语言模型之间插入 LLM 代理层，使训练系统能够观测并记录所有模型调用，而无需改动任何现有 harness 代码。

Agent Lightning v1.0 在设计上高度强调轻量化，整个框架约 3500 行代码，逻辑清晰，便于理解、修改和扩展。框架原生支持 Kubernetes，智能体可作为标准 Kubernetes 任务运行于自管集群、云端 Kubernetes 或本地基础设施之上，无需依赖任何付费商业沙箱服务，大幅降低了大规模训练的部署门槛。

在技术层面，使用真实 harness 进行训练带来了四项核心挑战：重新分词与样本合并、优势值计算、损失归一化，以及上下文管理差异。由于 harness 以文本形式维护上下文，而 RL 训练需要 token ID，重新经过分词器处理可能导致 token 边界偏移；子智能体和上下文摘要机制也可能将单次 rollout 拆分为多个训练样本，影响统计关系的准确性。Agent Lightning v1.0 针对上述问题提供了系统性解决方案。

在实验验证方面，研究团队基于 Qwen3.5-9B 构建了完整的编程智能体训练流水线，使用约 6000 条来自开源数据集的训练样本，将模型在 SWE-bench Verified 上的 Pass@1 指标从 41.8% 提升至 56.4%，绝对提升 14.6 个百分点。这一结果表明，Harnessed Agentic RL 范式在数据效率和实际效果上均具备较强竞争力，为社区提供了一条无需大规模数据即可显著提升编程智能体能力的可复现路径。

要点

• 微软亚洲研究院提出 Harnessed Agentic RL 范式，让部署用 harness 直接参与 RL 训练，消除训练与部署的实现差距
• Agent Lightning v1.0 仅约 3500 行代码，原生支持 Kubernetes，无需商业沙箱服务即可大规模运行
• 通过 LLM 代理层拦截模型调用，现有智能体无需任何代码改动即可接入强化学习训练流程
• 基于 Qwen3.5-9B 的编程智能体训练实验，仅用约 6000 条样本即在 SWE-bench Verified 上实现 14.6 个百分点的绝对提升
• 框架系统性解决了真实 harness 训练中的重新分词、优势计算、损失归一化等四项核心技术挑战