返回岗位列表

智谱AI

AI院-推理Infra工程师(量化算法研究/推理框架优化/GPU优化)

地点:北京 薪资:薪资未公开 日期:2025-09-03

岗位摘要

【方向一】量化算法研究员;通过前沿的模型量化、压缩与推理加速技术,显著降低大语言模型及多模态模型的存储占用与计算成本,推动 LLM 的大规模部署;研发及改进 PTQ(训练后量化)、QAT(量化感知训练)、混合精度量化等核心算法,针对LLM/VLM(大语言模型/视觉语言模型)设计定制化量化方案,持续…

岗位职责

  • 【方向一】量化算法研究员
  • 通过前沿的模型量化、压缩与推理加速技术,显著降低大语言模型及多模态模型的存储占用与计算成本,推动 LLM 的大规模部署
  • 研发及改进 PTQ(训练后量化)、QAT(量化感知训练)、混合精度量化等核心算法,针对LLM/VLM(大语言模型/视觉语言模型)设计定制化量化方案,持续优化模型精度与推理效率的平衡
  • 探索并实践低比特量化(如INT8/INT4/FP8/FP4)、权重稀疏化、知识蒸馏等协同压缩技术,提升压缩率同时控制精度损失
  • 开发及优化量化工具链,完成对 GLM 系列模型的转换、量化校准及部署集成
  • 跟踪学术界与工业界前沿量化技术,通过论文复现、实验对比推动技术迭代
  • 计算机科学、电子工程、数学等相关专业硕士及以上学历,3 年以上模型量化或推理加速经验;或优秀本科生具备扎实项目履历
  • 深入理解 Transformer 架构及 LLM 推理流程,精通 Python,熟悉常见的开源 LLM 推理框架(sglang/vllm/trtllm 等)
  • 掌握量化原理(校准策略、量化粒度、误差分析)及主流算法(如GPTQ、AWQ)
  • 具有 CUDA/Triton 编程经验,能自主实现高性能算子或优化内核计算加分

任职要求

  • 计算机科学、电子工程、数学等相关专业硕士及以上学历,具备3年以上模型量化或推理加速经验,或优秀本科生需具备扎实的项目履历
  • 深入理解Transformer架构及大语言模型推理流程,精通Python编程语言,熟悉常见的开源大语言模型推理框架(如sglang、vllm、trtllm等)
  • 掌握模型量化原理(包括校准策略、量化粒度、误差分析)及主流量化算法(如GPTQ、AWQ)
  • 具备3年及以上GPU编程与高性能计算优化经验,深入理解GPU架构、并行计算原理及计算机体系结构
  • 精通C/C++编程语言,具备扎实的编程基础、良好的编程风格和丰富的调试经验,熟练掌握Python,熟悉Linux开发环境
  • 熟练使用Nsight Compute、Nsight Systems等GPU性能分析工具,具备实际的性能优化案例和成果,能够独立定位和解决复杂的性能问题
  • 熟悉基础数学函数、线性代数、矩阵运算、数值计算等数学库相关算法,了解深度学习常见算子的计算方式
  • 具有CUDA或Triton编程经验,能够自主实现高性能算子或优化内核计算者优先