AI资讯 / 工程

工程 / 工程

在东南亚五大AWS区域通过全球跨区域推理访问OpenAI GPT-6模型

AWS Machine Learning

Amazon Bedrock正式支持通过全球跨区域推理(Global Cross-Region Inference)在亚太五大AWS区域访问OpenAI GPT-6系列模型。用户可从新加坡(ap-southeast-1)、雅加达(ap-southeast-3)、马来西亚(ap-southeast-5)、泰国(ap-southeast-7)和台北(ap-east-2)发起调用,Bedrock会自动将请求路由至已部署该模型的商业区域进行处理。GPT-6 Sol和GPT-6 Luna支持从上述全部五个区域调用,GPT-6 Astra目前仅支持从新加坡发起。三款模型均接受文本与图像输入、客户端工具调用及提示词缓存,并支持多级推理强度设置。计费、配额追踪、CloudTrail日志和CloudWatch监控均锚定在源区域,无需激活目标区域。开发者可通过Bedrock Converse API、OpenAI兼容的Responses API或Chat Completions API三种路径调用,只需将全局推理配置文件ID替换原有模型ID即可完成接入。

单区域推理在流量高峰时容易触发限流,东南亚及台湾地区的团队在访问最新OpenAI模型时尤为明显。Amazon Bedrock推出的全球跨区域推理机制通过将请求自动分发至多个已部署目标模型的商业区域,有效缓解了本地容量不足的问题。开发者无需感知目标区域的选择逻辑,只需在API调用中传入全局推理配置文件ID,其余路由工作由Bedrock托管层完成。

GPT-6系列三款模型各有侧重。GPT-6 Sol专注于复杂推理与代码生成,适合全周期高强度任务;GPT-6 Luna面向高并发、可重复的标准化任务,强调吞吐效率;GPT-6 Astra则在复杂推理、代码及长文档处理方面表现突出。三款模型均支持none至max六档推理强度,但GPT-6 Astra不接受none档位,开发者在切换模型时需注意参数兼容性。

接入流程分为三个前置条件:首先,IAM身份需具备调用对应推理配置文件的权限;其次,源区域须已激活,新加坡默认开启,雅加达、马来西亚、泰国和台北属于可选加入区域需手动启用;最后,需安装当前版本的AWS SDK或CLI,若使用OpenAI兼容API还需额外安装OpenAI SDK和Amazon Bedrock Token Generator。目标区域无需单独激活,由Bedrock托管容量统一管理。

在代码层面,通过Converse API调用时,只需将modelId参数设为对应的全局配置文件ID,例如global.openai.gpt-6-sol,并在additionalModelRequestFields中传入reasoning effort参数。OpenAI兼容路径则通过/openai/v1端点访问,支持SigV4签名或Amazon Bedrock API密钥两种鉴权方式,便于将现有OpenAI客户端代码迁移至Bedrock而无需大幅改动业务逻辑。

在可观测性方面,所有推理活动的计费记录、配额消耗、CloudTrail审计日志和CloudWatch指标均归属于发起调用的源区域,团队无需跨区域汇聚监控数据。AWS会持续扩展支持的区域和配置文件范围,建议在正式构建前通过各模型的控制台页面确认最新的区域支持情况和每Token定价,以避免因配置变更导致的兼容性问题。

要点

  • GPT-6 Sol和GPT-6 Luna支持从新加坡、雅加达、马来西亚、泰国、台北五个源区域调用,GPT-6 Astra目前仅限新加坡
  • 全局跨区域推理通过替换模型ID为配置文件ID即可启用,计费与监控均锚定源区域,运维复杂度不增加
  • 三款模型均支持多档推理强度,但GPT-6 Astra不接受none档,切换模型时需校验参数兼容性
  • 支持Converse API和OpenAI兼容API双路径接入,现有OpenAI客户端代码可低成本迁移至Bedrock
  • 雅加达、马来西亚、泰国和台北属于可选加入区域,使用前需在账户中手动激活对应源区域
查看原始来源

原始标题:Accessing OpenAI GPT models on Amazon Bedrock with global cross-Region inference in Thailand, Malaysia, Singapore, Indonesia, and Taiwan

本文由 DataHub 基于公开来源整理,用于信息发现与摘要阅读;具体事实、数据和后续更新以原始来源为准。