高级工程师
岗位摘要
设计和实现用于大规模语言模型训练的高性能数据处理基础设施;开发和维护核心处理原语(例如,分词、去重、分块),重点关注可扩展性;构建用于大规模数据质量保证和验证的稳健系统;为数据处理基础设施实施全面的监控系统
登录后保留你的岗位线索
邮箱登录后可继续查看完整职责、任职要求和原岗位入口,并使用收藏与浏览记录沉淀适合自己的机会。
岗位职责
- 设计和实现用于大规模语言模型训练的高性能数据处理基础设施
- 开发和维护核心处理原语(例如,分词、去重、分块),重点关注可扩展性
- 构建用于大规模数据质量保证和验证的稳健系统
- 为数据处理基础设施实施全面的监控系统
- 创建和优化用于处理网络规模数据集的分布式计算系统
- 与研究团队合作,实施新颖的数据处理架构
- 构建和维护基础设施组件和系统的文档
- 设计和实现数据准备中可重现性和可追溯性的系统
任职要求
- 7年以上工作经验(不含实习)
- 强大的软件工程技能,具有构建分布式系统的经验
- 具有分布式计算框架(特别是Apache Spark)的实践经验
- 深刻理解云计算平台和分布式系统架构
- 具有高吞吐量、容错系统设计的经验
- 在性能优化和系统扩展方面有深厚背景
- 优秀的问题解决能力和对细节的关注
- 强大的沟通能力以及在协作环境中工作的能力
- 计算机科学或相关领域的高级学位
- 具有语言模型训练基础设施的经验
- 在分布式系统和并行计算方面有深厚背景
- 精通分词算法和技术
- 具有构建高吞吐量、容错系统的经验
- 深入了解监控和可观测性实践
- 具有基础设施即代码和配置管理的经验
- 具有MLOps或ML基础设施的背景
登录后查看完整岗位详情
使用邮箱验证码登录后,可查看完整职责、任职要求、原岗位入口,并继续使用收藏和浏览记录。列表摘要保持公开,完整详情用于保护数据质量和降低恶意抓取。