LangSmith 新增语音代理追踪功能，支持四大主流框架

LangSmith 今日宣布推出 Python 集成，支持追踪四种主流语音代理框架：Pipecat、LiveKit、OpenAI Realtime 和 Gemini Live（通过 Google ADK）。语音代理正变得越来越实用，市场快速增长，这得益于语音活动检测模型更精确、语音模型更自然、LLM 足够快速智能以支持实时对话。

语音代理的构建与聊天代理类似，都需要调用模型、使用工具、维护状态、检索上下文和做出决策。在生产环境中扩展语音代理时，需要了解语音管道的每个环节，并与团队成员共享追踪信息、评估行为、调试错误和持续改进。

语音代理主要有两种架构：“三明治”架构和语音到语音架构。“三明治”架构由语音转文本、文本代理和文本转语音三个组件串联而成，每个交互回合都需经过这三个步骤。语音到语音架构则使用多模态模型原生处理音频输入和输出，通过双向 WebSocket 流式传输事件。

LangSmith 的新追踪集成只需几行代码即可设置，可捕获完整对话音频、语音到语音模型事件、STT 和 TTS 推理追踪、用户和代理轮次、语音活动检测事件、中断和重叠语音、模型输入输出、工具调用及其参数和结果，以及每个阶段的时序信息。

所有捕获的事件和工作单元都显示在单个追踪树中，方便开发者追踪从音频到代理动作再到语音响应的完整流程。LangSmith 现已提供 Pipecat、LiveKit、OpenAI Realtime 和 Gemini Live 的集成文档，并附有工作示例。

要点

• LangSmith 新增对 Pipecat、LiveKit、OpenAI Realtime 和 Gemini Live 四大语音代理框架的追踪支持。
• 语音代理需要与文本代理类似的可观测性，包括追踪、评估和调试。
• 支持“三明治”架构和语音到语音架构两种主流语音代理架构。
• 可捕获对话音频、STT/TTS 延迟、中断事件、工具调用等关键信息。
• 所有事件显示在单个追踪树中，便于端到端调试。