Deepgram 为 Amazon SageMaker AI 带来增强可观测性，计费与 GPU 指标直达 CloudWatch

在 Amazon SageMaker AI 上运行 Deepgram 语音转文字（STT）和文字转语音（TTS）模型时，音频与转录内容始终保留在用户自己的 AWS 账户内，有助于满足数据驻留和合规要求，同时保留托管控制平面带来的部署、扩缩容与监控便利。然而，AWS Marketplace 模型包在网络隔离模式下运行，容器无法建立出站连接，这也正是此前供应商级遥测数据难以获取的根本原因。

Deepgram Enhanced Metrics 通过一条巧妙的路径解决了这一问题：容器将 CloudWatch Embedded Metric Format（EMF）记录写入容器标准输出，SageMaker AI 已将容器输出转发至端点的 CloudWatch 日志组，CloudWatch Logs 则自动将 EMF 记录提取为指标。整个链路无需部署代理或 Sidecar，无需额外 IAM 权限，指标通过现有的 SageMaker 到 CloudWatch 日志路径传输，完全符合网络隔离要求。

在计费命名空间 Deepgram/SageMakerInference 中，每完成一次请求就会生成一条记录，涵盖流式会话、预录音频请求和 TTS 请求。核心指标 ConsumedUnits 与 AWS Marketplace 计量计费所用的计费单元值完全一致，用户可将 AWS 账单与实际流量精确对账，细化到模型和传输协议维度。维度设计为低基数，不包含任何个人身份信息，无转录内容、TTS 输入或单次请求标识符。

第二个命名空间 Deepgram/SelfHosted 由 Deepgram API 服务器本身发出，按方法、模型层级和已启用功能细分原始用量，独立于计费逻辑。它回答的是产品层面的问题：流式请求与预录请求各占多少比例、哪些模型层级处理了最多音频、哪些功能被实际使用。这两个命名空间的指标均为标准 CloudWatch 指标，可直接用于仪表板、告警和指标数学运算。

对于需要更细粒度数据的场景，Deepgram 同步推出了 Prometheus 与 OpenTelemetry 支持。引擎级 Prometheus 指标直接从 Deepgram 容器抓取，逐 GPU 加速器和主机指标则通过 SageMaker AI 详细可观测性功能采集，支持使用 PromQL 从 CloudWatch、Grafana 或任何兼容 Prometheus 的工具进行查询。这一层级的指标可按端点、实例和 GPU 维度拆分，弥补了 Enhanced Metrics 仅聚合至账户和区域层级的不足。

值得注意的是，SageMaker AI 本身也有一个名为增强指标的端点功能（MetricsConfig 中的 EnableEnhancedMetrics），用于为标准端点指标添加逐实例和逐 GPU 利用率维度，与 Deepgram Enhanced Metrics 是两个独立但互补的能力。将两者结合使用，用户可以同时获得基础设施层面的资源利用率视图和应用层面的计费与业务用量视图，从而构建完整的语音 AI 可观测性体系。

要点

• Deepgram Enhanced Metrics 通过 CloudWatch EMF 路径将计费单元指标写入用户账户，与 AWS Marketplace 计量计费数据完全对应，无需代理或额外权限，在网络隔离环境下同样可用。
• Deepgram/SageMakerInference 命名空间提供 ConsumedUnits、AudioDurationSeconds、CharCount 等指标，支持按类别、模型、传输协议三级维度查询，可直接用于构建财务向账单仪表板或设置预算告警。
• Prometheus 与 OpenTelemetry 支持提供引擎级和逐 GPU 指标，可通过 PromQL 在 CloudWatch、Grafana 等工具中查询，填补了 Enhanced Metrics 无法按单一端点或实例过滤的空白。
• 两项能力均在 AWS Marketplace 网络隔离约束下运行，音频、转录内容及所有指标数据始终保留在用户自己的 AWS 账户内，有助于满足数据驻留和合规要求。
• Deepgram Enhanced Metrics 与 SageMaker AI 原生增强指标功能相互独立且互补，结合使用可构建从基础设施资源利用率到应用层计费与业务用量的完整可观测性体系。