施耐德电气如何借助LangSmith构建企业级LLMOps基础

施耐德电气是一家全球能源技术领导者，致力于通过电气化、自动化和数字化推动可持续发展。公司拥有16万名员工，年收入约400亿欧元，其内部AI Hub由350名专家组成，已部署60多个智能体，用于优化能源消耗、延长资产生命周期并加速开发者生产力。这些智能体嵌入关键基础设施，面临严格的数据驻留要求和网络安全控制，因此需要一个既能快速构建又能保障数据、部署和质量控制的通用智能体平台。

施耐德电气首席AI官Philippe Rambach指出，准确性、答案质量和防护挑战非常现实，大规模部署解决方案需要LangSmith这样的工具，与可信度和理解行为相关的一切都极具价值。AI平台团队位于AI Hub内部，提供共享基础设施，使AI团队能够在多云、从云到边缘以及所有AI类型的广阔技术环境中可靠交付。团队围绕LangSmith和LangChain生态系统构建了LLMOps能力，以部署并持续改进服务16万员工、覆盖100多个国家的AI助手One Jo。

团队将LLMOps能力组织为三大支柱，对应智能体产品生命周期：可观测性、评估和部署。在可观测性方面，他们在AWS EKS上自托管LangSmith，集成在企业安全边界内，确保严格数据隐私和合规。关键设计决策是采用每产品一个工作区，涵盖所有环境（开发、QA、预生产、生产），而非每环境一个工作区。这种模式使生产追踪能直接回馈到开发数据集进行离线评估，领域专家可标注生产追踪并推送到数据集，再针对新版本智能体重放验证改进。

在评估方面，团队投资了三个方向：离线评估加速器、LLMOps成熟度框架和领域专家参与。他们发布了基于Azure和AWS的Agentic RAG GitHub模板，以及基于LangSmith SDK的轻量级评估CLI，标准化所有AI团队的实验流程。成熟度框架通过LangSmith API自动报告，跟踪每个产品是否已仪表化、是否有离线评估套件、是否运行在线评估器以及用户反馈是否回流复用。约20%的AI产品已包含至少一个活跃的标注队列，领域专家可直接审查生产追踪。

部署方面，团队利用LangSmith Deployment的任务队列模型加速报价工作流。通过将生产追踪系统性地重用于回归数据集，团队能够针对真实使用场景验证每个新模型或提示迭代，同时及时发现漂移并应对性能变化。这种闭环方法使施耐德电气能够以企业规模自信地运营AI产品，从探索到工业化再到运营，每个阶段都有明确的LLMOps成熟度门控。

要点

• 施耐德电气通过自托管LangSmith实现严格数据隐私和合规，采用每产品一个工作区模式，使生产追踪直接用于离线评估和持续改进。
• 团队构建了LLMOps成熟度框架，通过LangSmith API自动报告所有AI产品的可观测性、评估和部署能力，作为产品生命周期门控。
• 约20%的AI产品已启用领域专家参与的标注队列，将领域知识直接融入评估循环，提升系统准确性。
• 内部AI助手One Jo服务16万员工，覆盖107个国家，通过LangSmith追踪每个对话，系统性地重用生产追踪进行回归测试。
• 团队发布了标准化评估CLI和Agentic RAG模板，使新AI团队能快速从初始设置过渡到有意义的离线评估套件。