端侧大模型推理工程师
岗位摘要
负责端侧语言模型与多模态模型的推理部署；进行异构硬件性能调优与内存管理；开发与优化推理框架、工具链及跨平台构建系统；实施模型量化、KV Cache管理与端侧推理优化；跟进前沿模型架构（如Transformer变体、投机解码加速技术EAGLE系列等）的迭代演进
岗位职责
- 负责端侧语言模型与多模态模型的推理部署
- 进行异构硬件性能调优与内存管理
- 开发与优化推理框架、工具链及跨平台构建系统
- 实施模型量化、KV Cache管理与端侧推理优化
- 跟进前沿模型架构（如Transformer变体、投机解码加速技术EAGLE系列等）的迭代演进
任职要求
- 了解主流模型架构，包括Transformer系列、LLaMA、Qwen等，能分析其计算与内存特点
- 熟悉至少一种端侧推理框架（llama.cpp / TensorRT / QNN / ONNX Runtime）
- 了解投机采样等推理加速思路，能分析其对端侧延迟、内存和工程复杂度的影响
- 精通C/C++/Python
- 熟悉mmap / CMA / GPU OOM / 内存调优，能分析内存带宽与计算瓶颈并进行访存与计算逻辑优化
加分项
- 有CUDA / OpenCL / 自定义推理算子实现经验
- 有 Android NDK / aarch64 交叉编译经验
- 有模型压缩、量化、蒸馏技术经验优先
福利待遇
- 有CUDA / OpenCL / 自定义推理算子实现经验者优先
- 有Android NDK / aarch64交叉编译经验者优先
- 有MoE模型开发经验者优先
- 有Orin平台开发经验者优先
- 有模型压缩、量化、蒸馏技术经验者优先