推理引擎性能工程师
岗位摘要
构建并优化推理引擎，在各类加速器与云平台上提升吞吐量、成本效益、可靠性与延迟；保持设备利用率高，确保加速器不会因其他开销而等待；通过缓存模型状态并优先复用，在比重新计算更便宜时避免重复计算
岗位职责
- 构建并优化推理引擎，在各类加速器与云平台上提升吞吐量、成本效益、可靠性与延迟
- 保持设备利用率高，确保加速器不会因其他开销而等待
- 通过缓存模型状态并优先复用，在比重新计算更便宜时避免重复计算
- 建立可观测性，定位性能缺口，建模潜在改进影响，部署后再次测量并持续迭代
- 确保模型质量优先于效率，构建基础设施使 Claude 在不同平台与时间上保持智能水平
- 与安全团队紧密合作，支撑生产安全系统，在保证鲁棒性的同时提升效率
任职要求
- 对 LLM 推理有可运作的心智模型，理解预填充和解码如何占用加速器的计算、内存与互连资源，以及主机在此期间的工作
- 具备快速学习能力，能迅速熟悉陌生复杂系统并快速交付重要变更
- 精通 Rust、C++ 或类似系统编程语言，并注重代码质量与测试
- 以分析方式处理性能问题：先观察和剖析，形成假设并验证，再修改代码并重新测量
- 保持低自我，勇于提出朴素问题，善于接受反馈，主动承担职责外的工作
- 喜欢结对编程，并关心自己工作的社会影响
- 优先资格：有 LLM 推理服务引擎经验，了解其抽象层的压力点
- 优先资格：具备 GPU 或加速器编程经验
- 优先资格：熟悉操作系统内部机制
- 优先资格：有 Transformer 语言建模经验
- 优先资格：构建过分配器、缓存、调度器或高带宽传输系统
- 优先资格：熟练使用 Rust
- 优先资格：有使系统可复现的经验，例如确定性、重放和基于属性的测试