将运行时治理内嵌于智能体生命周期

在生产环境中运行 AI 智能体，费用失控与数据泄露是两类最常见的隐患。一个陷入重试循环的编程智能体可以在一夜之间发起上万次 LLM 调用，产生四位数账单；一个处理退款请求的客服智能体可能将用户的社会安全号码写入 LLM 提供商日志和下游系统。这些并非边缘案例，而是生产级智能体的日常风险。传统可观测性工具只能告诉你发生了什么，却无法在问题发生前将其拦截。

LangSmith LLM Gateway 的核心定位是在请求层实施治理。它作为代理层介于智能体与 LLM 提供商之间，在请求发出前完成两件事：一是检查当前调用是否触发费用上限，若触发则向智能体返回 402 错误；二是扫描请求与响应中的 PII 及密钥信息并自动脱敏，确保敏感数据不会传播至模型或写入追踪记录。整个过程对智能体透明，业务逻辑不受影响。

与市场上现有方案相比，LLM Gateway 的差异化在于治理与可观测性的深度整合。网络层网关擅长流量管控，但策略触发时缺乏追踪上下文；独立护栏平台提供精细化评估，但会将智能体、追踪与评估数据分散在两套系统中；数据平台治理层适合已深度依赖该平台的团队，否则迁移成本极高。LLM Gateway 则将策略事件直接注入 LangSmith 工作区，与追踪、评估和仪表盘共享同一界面，无需额外的关联分析。

接入流程被刻意设计得极为简单。开发者只需三步：将智能体的 base_url 替换为 LangSmith Gateway 端点，在工作区密钥中填入各 LLM 提供商的 API Key，最后在 LangSmith UI 中配置所需策略。无需部署独立基础设施，无需修改业务代码。策略违规事件会作为可点击的 Trace 事件出现在 LangSmith Engine 中，开发者可以直接从违规记录跳转至触发它的完整追踪链路，查看智能体当时的行为，修改系统提示或工具配置，并对照已有测试集重新评估。

当前公测版支持四个维度的分层治理：组织、工作区、用户和 API Key 级别的费用硬上限；实时费用汇总视图，告别月末账单惊喜；PII 与密钥检测及自动脱敏；以及完整的管理操作审计日志，满足合规与安全团队的记录需求。所有网关代理调用均保持追踪连续性，路由至网关不会导致可观测性数据碎片化。

LangChain 表示，LLM Gateway 的长期目标是成为智能体运行时所有策略的中央控制平面。后续路线图包括更深层的安全控制（覆盖智能体调用外部模型和接触生产系统的完整风险面）、更灵活的执行机制（支持软性警告阶段，而非直接硬性拦截），以及模型回退等能力。随着智能体治理市场快速成形，LangSmith 选择将治理层锚定于智能体框架本身，而非要求团队迁移至独立平台。

要点

• LLM Gateway 在请求到达模型前执行费用上限与 PII 脱敏，从源头阻断问题而非事后记录。
• 策略违规事件直接映射为 LangSmith 内的可追踪 Trace，开发者无需切换工具即可完成检测、排查与修复。
• 接入仅需替换 base_url 并在 UI 配置策略，无需额外基础设施，对现有代码零侵入。
• 支持组织、工作区、用户、API Key 四个层级的分层治理，可将策略精准聚焦于最需要的位置。
• 后续将扩展至更深层安全控制、软性执行机制和模型回退，目标成为智能体运行时的统一控制平面。