AI大模型推理工程师
岗位摘要
参与大语言模型、多模态模型等AI模型的推理部署、性能优化和服务化建设；协助搭建高性能、低延迟的大模型推理服务，支持模型在实际业务场景中的应用；参与Transformer、Attention、KV Cache、Batching、量化等推理相关技术的学习、调研与实现
岗位职责
- 参与大语言模型、多模态模型等AI模型的推理部署、性能优化和服务化建设
- 协助搭建高性能、低延迟的大模型推理服务，支持模型在实际业务场景中的应用
- 参与Transformer、Attention、KV Cache、Batching、量化等推理相关技术的学习、调研与实现
- 参与vLLM、TensorRT-LLM、Triton、ONNX Runtime、SGLang等推理框架的接入、测试与优化
- 协助进行模型推理性能压测、瓶颈分析和资源利用率优化
任职要求
- 计算机、人工智能、软件工程、电子信息、自动化、数学等相关专业优先
- 具备扎实的计算机基础，熟悉数据结构、操作系统、计算机网络、并行计算等基础知识
- 熟悉Python，了解C++，具备良好的编码能力和工程实践习惯
- 了解深度学习基础，熟悉PyTorch、TensorFlow、ONNX等至少一种深度学习框架或模型格式
- 了解Transformer、Attention、LLM推理流程等相关知识
- 对大模型推理优化、AI Infra、GPU计算、模型服务化方向有浓厚兴趣
- 具备良好的学习能力、问题分析能力和沟通协作能力
福利待遇
- 薪资范围20,000至40,000元，共16薪
- 面向在校生及应届毕业生开放，学历不限
- 工作地点位于北京朝阳区望京国际研发园
工作地址
北京朝阳区望京国际研发园I座