后训练推理研究工程师
岗位摘要
设计并构建 Together AI 用于定制开源模型的系统；构建模型塑造平台与推理平台之间的集成，确保从后训练到生产工作负载服务的无缝链路；为大规模后训练实验的推理引擎添加功能，包括针对强化学习工作负载的优化
岗位职责
- 设计并构建 Together AI 用于定制开源模型的系统
- 构建模型塑造平台与推理平台之间的集成，确保从后训练到生产工作负载服务的无缝链路
- 为大规模后训练实验的推理引擎添加功能，包括针对强化学习工作负载的优化
- 确保服务稳定健壮，参与轮值待命，并保障平台全天候可用
任职要求
- 具备2年以上在生产环境中构建和部署基于机器学习的服务经验
- 具有现代推理引擎的实践经验，如 SGLang、vLLM 和 TensorRT-LLM
- 熟悉微调大语言模型及其他 AI 模型的最新方法
- 具备扎实的 Python 或 Go 软件工程背景
- 持续关注机器学习社区的最新进展与趋势
- 加分项：有服务低精度（FP4/FP8）模型、在一个模型实例中使用多个 LoRA 适配器（Multi-LoRA），或将模型分布到多个 GPU 节点的经验
- 加分项：有优化强化学习训练工作负载性能的经验
- 加分项：有为推理开发 CUDA/Triton/CuTE DSL 内核的经验
- 加分项：有开发大规模高负载生产系统的经验
- 加分项：有维护或贡献开源机器学习项目的经验
- 加分项：有在 Kubernetes 集群上管理机器学习工作负载的经验
福利待遇
- 提供有竞争力的薪酬、初创公司股权、健康保险及其他福利
- 美国全职岗位基本薪资范围为 200,000 至 290,000 美元
- 薪资范围根据地点、级别和职位确定，个人薪酬取决于经验、技能和岗位相关知识