研究 / 官方
将AI推理迁移至云端,机器人性能与续航双双提升
微软研究院发布了一项针对物理AI推理基础设施的系统性研究,挑战了机器人领域长期以来依赖机载GPU执行推理任务的主流假设。研究团队以移动机械臂操作为核心场景,评估了语义建图与规划、导航、操控三类核心能力在不同计算配置下的表现。结果显示,将AI推理卸载至边缘服务器或云端GPU后,机器人在动态环境中的响应速度和任务准确率均大幅提升:较小的机载GPU会导致建图与规划速度下降最高383%,导航障碍物检测成功率下降30%,视觉语言动作模型精度下降50%。与此同时,以树莓派5替代机载GPU并将数据传输至远端推理节点,可将电池续航时间延长数小时。微软还在其物理AI工具链中引入了基于Kubernetes的容器化部署能力,支持跨机器人、边缘与云端的分布式推理编排。
物理AI被视为人工智能发展的下一个重要前沿。与数字世界中的AI不同,物理AI需要在开放、不可预测的真实环境中运行,同时与人类和其他机器人协作,并适配多种机器人形态。实现这一愿景需要在机器人硬件、具身AI模型以及训练与推理系统基础设施三个维度同步推进。微软研究院指出,尽管前两个维度近年来进展迅速,推理基础设施这一关键环节却相对被忽视。
当前业界的主流做法是在机器人本体上搭载GPU,由其独立完成推理任务,高层规划虽可在云端进行,但具体任务执行仍依赖机载计算资源。微软研究院对这一假设提出质疑:随着物理AI模型规模持续增大,机载GPU的功耗高、重量大、成本高以及无法运行最新一代大模型等局限性愈发突出,制约了机器人在复杂场景中的实际表现。
研究团队以「检查厨房垃圾并丢入垃圾桶」这一典型移动操作任务为基准,系统评估了不同计算配置下的推理性能。测试结果表明,较小的机载GPU在建图与规划任务上的耗时比A100 GPU慢最高383%,严重影响机器人在动态空间中的实时响应能力;导航模块对障碍物的及时检测率下降约30%;视觉语言动作模型虽然速度下降幅度相对较小,但已足以导致动作执行精度下降50%。
在电池续航方面,机载GPU对机器人电量的消耗同样不容忽视。研究人员将机载GPU替换为树莓派5开发板,并将全部推理数据传输至远端GPU处理。测试显示,Jetson Thor等较大型机载GPU会使机器人电池额外消耗高达160%的电量,相当于缩短数小时的续航时间。采用推理卸载方案后,机器人可在两次充电之间运行更长时间,显著提升了实际部署的可行性。
在系统工具层面,微软在其物理AI工具链中新增了基于Kubernetes的容器化部署能力。开发者可以将机器人AI工作负载打包为容器,并在机器人本体、边缘基础设施与云端之间灵活编排和调度分布式推理任务。这一能力的引入,为大规模机器人集群的统一管理和弹性扩展提供了基础支撑,也为未来更复杂的物理AI应用场景奠定了系统架构基础。
微软研究院认为,随着物理AI模型规模和复杂度的持续增长,推理卸载带来的优势将愈加显著。制造业、家庭服务、仓储物流等场景对机器人的实时性、准确性和持续运行能力均有较高要求,而推理卸载架构恰好能够在这些维度上提供系统性改善。该研究为行业重新审视机器人AI基础设施的设计范式提供了重要的实证依据。
要点
- 机载GPU在建图规划任务上的推理速度最高比云端A100慢383%,导航检测率下降30%,动作模型精度下降50%,推理卸载可全面改善上述指标。
- 以树莓派5替代机载GPU并将推理迁移至远端,可将机器人电池续航延长数小时,Jetson Thor等大型机载GPU的额外电量消耗高达160%。
- 微软在物理AI工具链中引入基于Kubernetes的容器化编排能力,支持跨机器人本体、边缘与云端的分布式推理部署。
- 这是业界首次针对机器人AI推理基础设施进行系统性研究,为重新评估机载计算假设提供了实证支撑。
- 随着物理AI模型持续增大,推理卸载架构的优势预计将进一步扩大,对制造、仓储、家庭服务等场景具有直接应用价值。
原始标题:Offloaded inference for real-world physical AI robotics
本文由 DataHub 基于公开来源整理,用于信息发现与摘要阅读;具体事实、数据和后续更新以原始来源为准。