AI资讯 / 产业

产业 / 媒体

Acrab 发布边缘 AI 终端 SoC GΞLIX 1,支持 100B 模型本地运行

IT之家

初创企业 Acrab 正式发布首款边缘 AI 终端 SoC GΞLIX 1,基于 5nm 制程工艺,支持 100B 参数规模模型本地运行。该芯片采用异构设计,集成 20 核 Arm CPU、3TFLOPS GPU 和 NPU,AI 算力达 650TOPS。通过矢量硬件加速注意力机制,在 Gemma 26B A4B 配置下,预填充速率达 1416.8 Token/s,是苹果 M4 Pro Mac Mini 的 7.5 倍。Acrab 还提供软件堆栈和智能体参考设计,并推出第一方终端设备 Agent Box。

初创企业 Acrab 昨日正式发布了其首款芯片:面向边缘 AI 终端设备的 GΞLIX 1 SoC。这一芯片基于 5nm 制程工艺,支持 100B 参数规模模型本地运行,为边缘设备带来强大的 AI 处理能力。

GΞLIX 1 采用异构设计,提供了 20 核 Arm CPU、3TFLOPS GPU、NPU 和其它一系列音视频引擎,AI 算力达 650TOPS。其拥有 8MB 的大型 L1 缓存,共享 L2 缓存带宽 768GB/s,此外还拥有 256-bit 8533T/s 的 LPDDR5X 共享内存,确保高效的数据处理。

Acrab 表示,在 GΞLIX 1 上通过矢量硬件加速了注意力机制,并通过针对预填充的优化降低了首 Token 用时。在配备 40k KV 缓存和 10k Token 输入的 Gemma 26B A4B 配置下,GΞLIX 1 可实现 1416.8 Token/s 的预填充速率,是苹果 M4 Pro Mac Mini 的 7.5 倍。

除芯片本身外,Acrab 还为 GΞLIX 1 提供了丰富的软件堆栈和智能体参考设计,并基于其打造了第一方终端设备 Agent Box。这为开发者提供了完整的解决方案,加速边缘 AI 应用的落地。

要点

  • Acrab 发布首款 5nm 边缘 AI SoC GΞLIX 1,支持 100B 参数模型本地运行。
  • 芯片 AI 算力达 650TOPS,集成 20 核 Arm CPU 和 3TFLOPS GPU。
  • 预填充速率达 1416.8 Token/s,是苹果 M4 Pro Mac Mini 的 7.5 倍。
  • 提供软件堆栈和智能体参考设计,并推出终端设备 Agent Box。
查看原始来源

本文由 DataHub 基于公开来源整理,用于信息发现与摘要阅读;具体事实、数据和后续更新以原始来源为准。