预训练数据工程师
岗位摘要
与爬虫团队合作，发现和获取数据集；设计和构建能够高效、精确处理PB级数据集的管道；设计有洞察力的实验，以评估数据集质量及其对模型训练的影响；设计严谨的对照实验，以理解数据和数据处理流程；创新预训练数据的扩展配方，探索新的前沿
岗位职责
- 与爬虫团队合作，发现和获取数据集
- 设计和构建能够高效、精确处理PB级数据集的管道
- 设计有洞察力的实验，以评估数据集质量及其对模型训练的影响
- 设计严谨的对照实验，以理解数据和数据处理流程
- 创新预训练数据的扩展配方，探索新的前沿
任职要求
- 第一性原理思维——能够深入思考并质疑每一个假设，而非接受现状
- 在机器学习和大型模型扩展方面具备专业知识，熟悉各种扩展定律
- 了解最先进的预训练数据整理技术
- 在Spark、Ray等大规模数据处理框架方面具备强大的工程能力
福利待遇
- 全面的医疗、视力和牙科保险
- 401(k)退休计划
- 短期和长期残疾保险
- 各种其他折扣和福利