OpenAI自研芯片Jalapeño基准测试出炉，推理性能与能效双双领先

在8月25日举行的Hot Chips大会上，OpenAI正式公布了自研推理芯片Jalapeño的首批基准测试数据。测试采用半导体分析机构SemiAnalysis开发的InferenceX基准，结果显示Jalapeño在每用户令牌数和每千瓦吞吐量两项关键指标上均优于目前市场上最先进的推理处理器。OpenAI硬件负责人Richard Ho在媒体电话会议中表示，这一结果代表了相对于现有最优水平「非常、非常显著的性能进步」。

值得注意的是，此次对标的参照系是英伟达Blackwell系统。然而，Ho也坦承，等到Jalapeño完成大规模部署时，竞争对手的技术可能已经取得相当大的进展。按照目前的时间表，Jalapeño预计将于2026年底以极小规模开始部署，2027年才会进入更具规模的商业落地阶段。这意味着届时的竞争格局将与当前基准测试所呈现的情况有所不同。

Jalapeño于去年10月首次对外公布，由OpenAI与博通紧密合作开发，OpenAI自身的AI模型也深度参与了芯片的研发过程。OpenAI将Jalapeño定位为多代际平台，计划将AI产品、模型、芯片与内存纳入统一的全栈协同开发框架，以实现各层级之间的深度优化与协同演进，而非将芯片视为孤立的硬件产品。

在技术架构层面，Jalapeño的设计重点在于解决推理过程中常见的性能瓶颈。OpenAI在博客文章中指出，芯片专门针对推理流程中的预填充阶段和通信阶段进行了优化，这两个阶段在传统系统中往往是造成延迟的主要来源。通过最小化数据移动和通信延迟，Jalapeño能够将模型状态（包括生成响应时使用的KV缓存）显式放置并保留在本地，从而为每个推理阶段灵活调配计算、内存和网络资源。

从更宏观的视角来看，Jalapeño的推出标志着OpenAI在硬件自研道路上迈出了实质性步伐。长期以来，OpenAI高度依赖英伟达GPU进行模型训练与推理，自研芯片战略有助于降低对单一供应商的依赖，并在成本与性能上获得更大的自主掌控空间。随着AI推理需求持续爆发式增长，芯片层面的效率优势将直接转化为服务规模和商业竞争力，这也是各大AI公司纷纷布局自研硅片的核心驱动力。

要点

• Jalapeño在InferenceX基准测试中，每用户令牌数和每千瓦吞吐量均超越英伟达Blackwell系统，性能与能效表现突出。
• 芯片由OpenAI与博通联合开发，OpenAI自身模型参与研发，计划2026年底小规模部署，2027年扩大落地。
• Jalapeño被定位为多代际全栈平台，将AI模型、芯片、内存纳入统一协同开发体系，而非单一硬件产品。
• 芯片在架构上专门优化了推理流程中的预填充和通信阶段，通过减少数据移动降低延迟，提升大规模并发服务能力。
• 自研芯片战略有助于OpenAI降低对英伟达的依赖，在推理成本与性能上获得更强的自主掌控能力。