端侧全模态大模型工程专家
岗位摘要
负责端侧语言模型、多模态模型及全模态模型的推理部署；深入全模态模型双工异步工作流推理的开发和优化；进行模型量化、KV Cache管理以及投机推理加速；分析硬件性能调优并进行内存管理；跟进主流芯片厂商技术栈的演进
岗位职责
- 负责端侧语言模型、多模态模型及全模态模型的推理部署
- 深入全模态模型双工异步工作流推理的开发和优化
- 进行模型量化、KV Cache管理以及投机推理加速
- 分析硬件性能调优并进行内存管理
- 跟进主流芯片厂商技术栈的演进
任职要求
- 了解主流模型架构，包括Transformer系列、LLaMA、Qwen、Whisper等，能分析其计算与内存特点
- 熟悉TensorRT，了解llama.cpp、vllm、sglang框架
- 了解投机采样（Eagle2/Eagle3/MTP）等推理加速思路，能够分析其对端侧延迟、内存和工程复杂度的影响
- 精通C/C++/Python
- 具备异步多线程计算、内存管理优化的实战经验
- 熟悉GPU OOM/内存调优，能分析内存带宽与计算瓶颈
加分项
- 有Whisper、Qwen3 asr等声学模型推理开发经验
- GPU kernel / OpenCL / 自定义推理算子实现经验
- llama.cpp 自定义推理 runtime 开发经验
- 有模型压缩、量化、蒸馏技术经验
福利待遇
- 有Whisper、Qwen3 asr等声学模型推理开发经验者优先
- 有GPU kernel/OpenCL/自定义推理算子实现经验者优先
- 有Openvino推理开发经验者优先
- 有llama.cpp自定义推理runtime开发经验者优先
- 有模型压缩、量化、蒸馏技术经验者优先