AI推理工程师
岗位摘要
开发供内部和外部客户使用的AI推理API；对整个推理栈进行基准测试并解决瓶颈问题；提高系统的可靠性和可观测性，并应对系统中断；探索新颖研究并实施LLM推理优化；具备ML系统和深度学习框架经验（如PyTorch、TensorFlow、ONNX）
岗位职责
- 开发供内部和外部客户使用的AI推理API
- 对整个推理栈进行基准测试并解决瓶颈问题
- 提高系统的可靠性和可观测性，并应对系统中断
- 探索新颖研究并实施LLM推理优化
任职要求
- 具备ML系统和深度学习框架经验（如PyTorch、TensorFlow、ONNX）
- 熟悉常见LLM架构和推理优化技术（如连续批处理、量化等）
- 了解GPU架构或有使用CUDA进行GPU内核编程的经验