前向部署工程师（推理与后训练）——普通话
岗位摘要
推理引擎优化：根据硬件、模型架构和工作负载特征，选择、配置并优化推理引擎；配置与性能调优：开发配置更新以赢得关键概念验证（POC）和基准测试，优化客户部署；调优KV缓存，应用投机解码，确定最优张量并行，并制定量化策略以达到吞吐和延迟目标
岗位职责
- 推理引擎优化：根据硬件、模型架构和工作负载特征，选择、配置并优化推理引擎
- 配置与性能调优：开发配置更新以赢得关键概念验证（POC）和基准测试，优化客户部署；调优KV缓存，应用投机解码，确定最优张量并行，并制定量化策略以达到吞吐和延迟目标
- 后训练与微调：推动强化学习（RL）训练运行并优化系统设计；指导客户完成LoRA、SFT、DPO、RLHF和GRPO流程，从实验到生产
- 战略客户对齐：作为对接战略客户的主要技术联系人，监控和优化端点配置，帮助客户充分利用平台，并协作确保达成关键里程碑
- 有主见的入职引导：在入职阶段与战略客户直接对齐；确保从第一天起就配置正确的推理和后训练设置，以提升价值实现速度
- 产品反馈闭环：通过反馈现场洞察直接影响软件和模型路线图；按需回馈产品以支持客户需求或推动更好体验；推动早期功能和研究成果在战略客户中的采用
任职要求
- 经验：5年以上技术岗位经验，重点关注推理系统、开源大语言模型（LLM）部署或后训练工作流
- 推理引擎深度：具备推理引擎（如vLLM、TensorRT-LLM、SGLang）的专家级实操经验；能够在引擎层面诊断和解决性能问题
- 推理优化：深入了解KV缓存调优、投机解码、张量并行、流水线并行和量化技术
- 后训练知识：具备微调和后训练流水线的实操经验，包括LoRA、SFT、DPO、RLHF和GRPO；能够就系统设计提供建议
- 模型全景意识：对最先进的开源模型有广泛了解，并能针对特定客户用例、硬件配置和性能目标做出模型选择的强判断
- 编码能力：较强的Python技能；适应生产环境工作
- 必须是新加坡永久居民或公民