AI资讯 / 产业

产业 / 媒体

英伟达Vera CPU性能是英特尔Sapphire Rapids的2.2倍

IT之家

云端AI推理平台DeepInfra发布测试报告,在生产环境下智能体AI负载测试中,英伟达Vera CPU性能表现突出。其runc延迟为29ms,而英特尔Sapphire Rapids为64ms,性能提升约2.2倍。此前英伟达官方曾指出,Vera CPU相比AMD Turin 9755处理器,在智能体AI负载上性能提升80%。测试环境统一使用20个物理核、每核1线程、单NUMA节点,并启用CPU confinement。Vera CPU的IPC达到3.62,而英特尔Granite Rapids和Sapphire Rapids均为2.44。

云端AI推理平台DeepInfra于7月21日发布博文,公布了在生产环境下智能体AI负载的测试结果。数据显示,英伟达Vera CPU在性能上显著领先于其他处理器,尤其是在runc容器延迟方面表现突出。Vera CPU的runc延迟仅为29ms,而英特尔Sapphire Rapids为64ms,性能提升约2.2倍。

英伟达此前在官方博文中指出,Vera CPU相比AMD的Turin 9755处理器,在处理智能体AI负载上的性能提升高达80%。这一数据进一步巩固了Vera CPU在AI推理领域的领先地位。测试环境采用统一条件,每次运行均为20个物理核、每核1线程、单NUMA节点,并启用CPU confinement,超出核预算的运行会被丢弃。

在具体测试数据中,Vera CPU的Kata延迟为58ms,runc延迟为29ms,IPC达到3.62。相比之下,AMD Zen5 Turin的Kata延迟为87ms,runc延迟为35ms,IPC未公布。英特尔Granite Rapids的Kata延迟为103ms,runc延迟为51ms,IPC为2.44。Sapphire Rapids的Kata延迟为122ms,runc延迟为64ms,IPC同样为2.44。

这些数据表明,英伟达Vera CPU在智能体AI负载下具有明显的性能优势。其高IPC和低延迟特性使其成为AI推理任务的理想选择。随着智能体AI应用的普及,Vera CPU有望在数据中心和云端部署中发挥更大作用。

英伟达Vera CPU专为智能体AI构建,配备88个Olympus核心和1.2 TB/s LPDDR5X内存。这一设计使其在处理复杂AI负载时能够提供卓越的性能和能效。未来,随着AI技术的不断发展,Vera CPU可能成为行业标准之一。

要点

  • 英伟达Vera CPU在智能体AI负载测试中,runc延迟为29ms,比英特尔Sapphire Rapids快2.2倍。
  • Vera CPU的IPC达到3.62,远高于英特尔Granite Rapids和Sapphire Rapids的2.44。
  • 英伟达官方此前表示,Vera CPU相比AMD Turin 9755,在智能体AI负载上性能提升80%。
  • 测试环境统一使用20个物理核、每核1线程、单NUMA节点,确保结果公平。
  • Vera CPU配备88个Olympus核心和1.2 TB/s LPDDR5X内存,专为智能体AI优化。
查看原始来源

原始标题:智能体 AI 测试:英伟达 Vera CPU 比英特尔 Sapphire Rapids 快 2.2 倍

本文由 DataHub 基于公开来源整理,用于信息发现与摘要阅读;具体事实、数据和后续更新以原始来源为准。