AI资讯 / 工程

工程 / 工程

501B 参数开放权重模型,专为智能体编程而生

AWS Machine Learning

Reflection AI 推出 Beam,这是一款面向智能体编程与长周期任务的开放权重大模型,能够完成代码维护、工具调用、结果解读及多步骤工作流等复杂任务。Beam 采用稀疏混合专家架构,拥有 5010 亿总参数与 230 亿活跃参数,有效上下文长度达 100 万 token。模型权重通过 Hugging Face 以 Apache 2.0 协议开放,提供 BF16、FP8 和 NVFP4 三种检查点格式。在 AWS 上,开发者可选择两条部署路径:一是通过 Amazon SageMaker JumpStart 快速创建托管实时端点;二是借助 Amazon SageMaker HyperPod Inference 结合 SGLang 或 vLLM,实现对分布式 GPU 基础设施的 Kubernetes 原生控制。Beam 当前已在美国东部(弗吉尼亚北部)和美国东部(俄亥俄)两个区域的 SageMaker JumpStart 中上线。

Reflection AI 的核心使命是通过开放模型权重、发布研究成果与开源软件,让智能能力真正普惠所有人。Beam 是这一理念在软件工程领域的具体落地,专为需要处理代码修改、问题排查、工具调用及中间结果响应等复杂场景的开发者和研究者设计。开放权重的发布方式赋予用户对运行时环境、部署配置和定制流程的完整控制权,而非依赖封闭的 API 接口。

从模型架构来看,Beam 是一个稀疏混合专家模型,5010 亿总参数决定了其检查点存储、权重内存与分片并行的需求,而 230 亿活跃参数则直接影响每个 token 的实际计算量。模型提供 BF16、FP8 和 NVFP4 三种检查点格式,分别对应不同的内存占用与硬件兼容性需求。BF16 格式内存需求最大,适合多节点高精度场景;FP8 推荐搭配配备 NVIDIA H100 或 H200 GPU 的实例;NVFP4 则针对搭载 NVIDIA B200 GPU 的实例优化。

AWS 为 Beam 提供了两条清晰的部署路径。第一条是 SageMaker JumpStart 实时端点,适合希望通过最短路径从模型目录获得托管 HTTPS 端点的用户,无需自行运维 Kubernetes 集群。开发者只需克隆官方示例仓库,通过简单的命令行参数指定检查点变体(bf16、fp8 或 nvfp4),即可完成端点部署、请求发送与资源清理的完整生命周期操作。

第二条路径是 SageMaker HyperPod Inference,面向需要对分布式 GPU 基础设施进行精细控制的场景。该路径基于 Amazon EKS 编排 HyperPod 集群,支持使用 AWS 托管的 JumpStart 容器配置,也支持自定义 SGLang 或 vLLM 运行时,让用户可以自主控制服务镜像、运行时参数、量化策略和分布式执行方式。这一路径尤其适合对延迟、吞吐量和资源利用率有严格要求的生产级部署。

在容量规划方面,由于 Beam 的总参数量达到 5010 亿,必须采用多 GPU 多节点部署方案。建议开发者在选定实例类型后,先计算单副本所需的权重内存、KV 缓存和运行时开销,再通过负载测试验证估算结果。此外,还需预留镜像传输、权重下载、分片加载和运行时初始化所需的时间。AWS 支持按需容量或通过 SageMaker 训练计划进行短期预留,以应对计划性工作负载的需求。

Beam 的发布标志着开放权重大模型在智能体编程领域迈出了重要一步。与依赖闭源 API 的方案相比,开放权重模式让企业和研究机构能够在自有基础设施上完全掌控模型行为,并根据具体业务场景进行深度定制。随着 AWS 持续扩展对开放模型的托管支持,开发者在构建自主编程智能体时将拥有更灵活的技术选择空间。

要点

  • Beam 采用稀疏混合专家架构,5010 亿总参数与 230 亿活跃参数的组合兼顾了模型能力与推理效率,有效上下文长度达 100 万 token。
  • 模型以 Apache 2.0 协议开放权重,提供 BF16、FP8、NVFP4 三种格式,开发者可根据硬件条件和精度需求灵活选择。
  • AWS 提供两条部署路径:SageMaker JumpStart 适合快速托管部署,HyperPod Inference 结合 SGLang 或 vLLM 适合需要精细控制分布式 GPU 资源的生产场景。
  • Beam 的多节点部署需要提前规划 GPU 配额、内存容量与网络带宽,建议通过负载测试验证容量估算后再投入生产。
查看原始来源

原始标题:Introducing Reflection Beam: an open-weight model for agentic coding on AWS

本文由 DataHub 基于公开来源整理,用于信息发现与摘要阅读;具体事实、数据和后续更新以原始来源为准。