AI推理工程师
岗位摘要
负责大模型在摩尔线程GPU上的推理适配、性能优化与部署落地；基于vLLM/TensorRT-LLM/SGLang等引擎，开展分布式推理、量化及KV缓存优化，提升吞吐量并降低延迟；解决高并发、长文本、多轮对话等场景的稳定性与性能瓶颈问题
岗位职责
- 负责大模型在摩尔线程GPU上的推理适配、性能优化与部署落地
- 基于vLLM/TensorRT-LLM/SGLang等引擎，开展分布式推理、量化及KV缓存优化，提升吞吐量并降低延迟
- 解决高并发、长文本、多轮对话等场景的稳定性与性能瓶颈问题
- 与算法、硬件及客户团队协作，对接需求并输出推理解决方案
- 跟踪大模型推理前沿技术，持续优化工具链与推理框架
任职要求
- 计算机、电子或AI相关专业，本科及以上学历，具备2年以上大模型推理工程经验
- 熟练掌握C++和Python，熟悉Linux与GPU编程，了解CUDA者优先
- 熟悉Transformer架构及主流大模型（如Llama/Qwen/DeepSeek等），具备vLLM/TensorRT-LLM等框架实战经验
- 掌握量化技术（INT4/INT8/FP8）、算子优化及分布式推理等技术者优先
- 具备高并发服务部署、问题排查及性能调优能力，拥有良好的跨团队沟通与协作能力
工作地址
深圳南山区科兴科学园南山区科苑路15号科兴科学园