TPU编译器软件工程师
岗位摘要
优化模型在TPU上的执行，提升整个前向传播的性能以及模型代码、内核与硬件之间的交互效率；对工作负载进行性能分析，识别瓶颈，并实施改进以降低延迟、提高吞吐量和硬件利用率；开发和优化内核，利用对周围模型的理解来指导实现选择
岗位职责
- 优化模型在TPU上的执行，提升整个前向传播的性能以及模型代码、内核与硬件之间的交互效率
- 对工作负载进行性能分析，识别瓶颈，并实施改进以降低延迟、提高吞吐量和硬件利用率
- 开发和优化内核，利用对周围模型的理解来指导实现选择
- 探索量化等技术，在保持模型质量的同时提高推理效率
- 构建基准测试和工具，用于测量性能、验证正确性并指导优化工作
- 与研究员和工程师合作，支持新的模型架构并将性能改进带入生产环境
任职要求
- 具有通过训练、推理或两者兼有的方式在TPU上优化机器学习工作负载的实践经验
- 了解现代模型架构及其计算如何映射到加速器硬件
- 能够将详细的内核行为与完整模型的性能联系起来，并在这些堆栈层级之间工作
- 具备强大的软件工程技能，以及系统化的性能分析、调试和验证性能改进的方法
- 能够承担开放式的技术问题，确定优先级，做出设计决策并交付可行的解决方案
- 乐于与研究员和工程师合作，学习系统中不熟悉的部分，并沟通技术权衡
- 具有量化或注意力内核经验者优先