Orange Business 如何用 LangChain 与 LangSmith 构建企业级 AI 平台 Live Intelligence

Orange Business 最初推出的 Live Intelligence Portal 主要面向员工个人任务，支持创建简单 Agent 和触发基础 API 调用。然而，企业客户很快提出了更高要求：能够跨越碎片化企业系统编排完整业务流程、精细管控访问权限，并在生产环境中稳定运行。这些需求远超早期产品的能力边界，促使团队开始寻找更坚实的技术底座。

Orange Innovation 对约 20 家主流云服务商和专业 AI 厂商展开系统评估。最终，LangChain 凭借模型中立性和可移植性脱颖而出，使团队能够完整掌控 Agent 架构，并灵活应对欧洲数据主权合规要求。在评估与可观测性层面，LangSmith 的能力明显领先。Orange Business AI 产品负责人 Mathieu Ducrot 表示，LangSmith 的可观测性能力远超团队内部可实现的水平，若自行研发，至少会推迟路线图 12 至 18 个月。

Live Intelligence 平台由三大模块构成。Live Intelligence Studio 面向 AI 工程师，提供 LLM 即服务目录、由 LangSmith Fleet 驱动的 Agent 构建器、MCP 支持及编排工具。Live Intelligence Portal 面向业务用户，HR、法务、软件开发和 IT 支持等团队可在此直接使用 Studio 中构建并部署的工作流。Live Intelligence Console 则为企业管理员提供用量监控、性能追踪及安全合规策略执行能力，三层架构形成清晰的职责分工。

在跨组织治理层面，Live Intelligence 引入了 Agent 注册表和 MCP 注册表两项机制。Agent 注册表允许各团队发现、复用、版本化和治理 Agent 与提示词，避免重复建设。提示词管理方面，Orange 使用 LangSmith Context Hub 维护不同环境的提示词版本，支持在不修改代码的前提下完成测试和验证。MCP 注册表则提供可信工具与连接器的集中目录，Agent 通过受控、可审计的层级访问 Microsoft 365、CRM、内部 API 等企业系统，将认证、安全和治理逻辑统一收归平台层管理。

Orange Business 基于 LangSmith 构建了三层生产评估体系，覆盖 RAG 质量（检索召回率、答案忠实度）、Agent 行为（工具选择准确率、任务完成率、抗提示注入能力）以及生产追踪监控（延迟、成本、失败运行、人工反馈）。Mathieu Ducrot 指出，过去调试 Agent 极为困难，因为故障往往隐藏在模型行为内部；有了 LangSmith，工程师可以逐步检查执行过程，快速定位问题来源于检索、提示词、模型、工具调用还是业务逻辑，AI 工程师、后端工程师、产品经理和 QA 团队得以基于同一套追踪和评估结果协同工作。

在持续改进机制上，Orange Business 要求在每次推送变更至生产环境前强制执行回归评估，工程师可对比 Agent 版本、回放历史追踪并验证行为。团队还构建了包含正负样本的数据集，用于离线评估和持续提示词优化。Mathieu Ducrot 总结道，技术团队负责应用和 Agent 工作流实现，业务团队则可主动参与提示词改进和质量评估，LangSmith 将提示词迭代、追踪和评估整合为一套持续改进工作流。展望未来，团队计划扩展在线评估能力，并推进更复杂业务流程的自动化。

要点

• Orange Business 通过引入 LangChain 与 LangSmith，将原本需要 12 至 18 个月的可观测性与评估基础设施建设大幅压缩，显著加快了产品上线节奏。
• Live Intelligence 的 Agent 注册表与 MCP 注册表将认证、安全和治理逻辑统一收归平台层，避免各团队重复解决相同的基础问题，是企业级 AI 平台治理的关键设计。
• 三层评估体系（RAG 质量、Agent 行为、生产追踪）结合强制回归评估机制，有效防止变更引入质量退化，为大规模生产部署提供了质量保障。
• LangSmith 的共享可观测性视图打破了 AI 工程师、后端工程师、产品经理和 QA 之间的信息壁垒，使跨职能团队能够基于同一数据源协同改进 Agent 质量。
• 模型中立性与数据主权合规是 Orange Business 选型的核心考量，对于在欧洲监管环境下构建企业 AI 平台的团队具有重要参考价值。