Amazon Bedrock AgentCore 网关新增流量限速功能，支持细粒度用户级管控

Amazon Bedrock AgentCore 网关作为 AI 流量的统一安全入口，支持将请求路由至 MCP 服务器、推理模型（LLM）、Agent 以及 HTTP 端点等多种目标类型。AWS 近日宣布该网关新增速率限制能力，使平台运营者能够对单个用户或用户群体的流量消耗实施精细管控，防止下游服务因突发流量而过载。

速率限制功能覆盖三类核心指标。请求速率限制（RPS/RPM）适用于所有目标类型，每个请求无论耗时长短均计为一个单位；Token 速率限制（TPM）仅适用于推理目标，网关会在请求发出前预先扣减估算的 Token 数量，待模型返回实际用量后再进行对账；连接速率限制（CPS）则追踪每个请求持有连接的时长，专门应对长流式调用场景，防止大量长连接同时占用目标资源。

速率限制的配置结构由维度键（Dimension Keys）和条目（Entries）两部分构成。维度键决定网关如何将流量分组到不同的速率桶，支持的键包括目标名称、工具名称、模型 ID、JWT 声明字段、IAM 主体及 IAM 源身份等。条目则定义每个桶的允许吞吐量，支持精确匹配和通配符兜底两种模式，精确匹配条目优先级高于通配符条目。

通过组合多个维度键，开发者可实现更细粒度的管控。例如，同时使用目标名称和 JWT 角色声明作为维度键，可以让基础用户、高级用户和测试用户在访问同一目标时各自拥有独立的速率桶。以文中示例为例，基础用户受到更严格的限制，而测试用户则在特定受限模型上获得更高配额，便于组织在全面推广前评估模型性能与适用性。

AgentCore 网关的速率限制分为两个层级：用户自定义速率限制和服务配额（Service Quotas）。用户自定义限制优先评估，通过后再检查服务配额。身份验证方面，AgentCore Identity 支持基于 JWT 的入站认证（如 Microsoft Entra ID）以及出站目标的 Token 颁发，配合 Amazon Bedrock AgentCore 的基于角色的访问控制（RBAC）策略，可将不同用户群体的访问范围精确限定在特定目标和模型上，形成完整的流量治理闭环。

要点

• AgentCore 网关新增速率限制功能，支持按用户或用户群体对 AI 流量实施细粒度管控，保护下游模型与工具免受流量冲击。
• 速率限制涵盖三类指标：请求数（RPS/RPM）、Token 吞吐量（TPM，仅推理目标）和并发连接数（CPS），分别应对不同流量压力场景。
• 维度键与条目的组合配置机制支持多维度分组，可结合 JWT 声明、IAM 身份、目标名称等字段为不同用户群体分配独立速率桶。
• 用户自定义速率限制优先于服务配额生效，两者共同构成双层流量防护机制。
• 该功能与 AgentCore Identity 的 JWT/IAM 认证及 RBAC 策略深度集成，适合需要多租户流量隔离的企业级 AI 平台场景。