返回岗位列表

大模型推理系统架构师

查看原岗位

地点：深圳薪资：薪资未公开日期：未知

岗位摘要

深度协同算法团队，主导深度学习算法端到端推理系统的架构设计与落地实践，聚焦高吞吐、低延时核心目标；攻克大模型推理工程化落地关键技术瓶颈；针对大模型推理全链路进行性能瓶颈深度剖析；通过算子优化、量化策略、资源调度等手段实现推理吞吐最大化

岗位职责

深度协同算法团队，主导深度学习算法端到端推理系统的架构设计与落地实践，聚焦高吞吐、低延时核心目标
攻克大模型推理工程化落地关键技术瓶颈
针对大模型推理全链路进行性能瓶颈深度剖析
通过算子优化、量化策略、资源调度等手段实现推理吞吐最大化
建立性能 - 成本评估体系，制定资源利用率极致优化方案，实现推理成本可控化
主导大模型推理框架底层架构优化，完善框架功能模块（如动态批处理、推理缓存、容错机制）
构建工程化能力体系，提升框架易用性（API 设计、配置化能力）与可调试性（日志系统、性能埋点、调试工具链）
支撑大规模推理服务稳定迭代

任职要求

深度协同算法团队，主导深度学习算法端到端推理系统的架构设计与落地实践的能力
具备攻克大模型推理工程化落地关键技术瓶颈的经验
能够针对大模型推理全链路进行性能瓶颈深度剖析
掌握通过算子优化、量化策略、资源调度等手段实现推理吞吐最大化的技能
具备建立性能-成本评估体系，制定资源利用率优化方案的能力
拥有主导大模型推理框架底层架构优化，完善相关功能模块的经验
具备构建工程化能力体系，提升框架易用性与可调试性的能力