预训练数据工程师
岗位摘要
与爬虫团队合作,发现和获取数据集;设计和构建能够高效、精确处理PB级数据集的管道;设计有洞察力的实验,以评估数据集质量及其对模型训练的影响;设计严谨的对照实验,以理解数据和数据处理流程;创新预训练数据的扩展配方,探索新的前沿
登录后保留你的岗位线索
邮箱登录后可继续查看完整职责、任职要求和原岗位入口,并使用收藏与浏览记录沉淀适合自己的机会。
岗位职责
- 与爬虫团队合作,发现和获取数据集
- 设计和构建能够高效、精确处理PB级数据集的管道
- 设计有洞察力的实验,以评估数据集质量及其对模型训练的影响
- 设计严谨的对照实验,以理解数据和数据处理流程
- 创新预训练数据的扩展配方,探索新的前沿
任职要求
- 第一性原理思维——能够深入思考并质疑每一个假设,而非接受现状
- 在机器学习和大型模型扩展方面具备专业知识,熟悉各种扩展定律
- 了解最先进的预训练数据整理技术
- 在Spark、Ray等大规模数据处理框架方面具备强大的工程能力
福利待遇
- 全面的医疗、视力和牙科保险
- 401(k)退休计划
- 短期和长期残疾保险
- 各种其他折扣和福利
登录后查看完整岗位详情
使用邮箱验证码登录后,可查看完整职责、任职要求、原岗位入口,并继续使用收藏和浏览记录。列表摘要保持公开,完整详情用于保护数据质量和降低恶意抓取。