大模型数据开发工程师
岗位摘要
参与大模型预训练数据的构建，包括数据采集、清洗、增强，搭建高效的分布式数据pipeline；参与大语言模型的数据质量提升，包括数据风控策略、异常数据检测、数据修复和特定领域数据扩充；参与模型训练数据标签体系建设，建设数据自动打标服务，完成海量数据打标
岗位职责
- 参与大模型预训练数据的构建，包括数据采集、清洗、增强，搭建高效的分布式数据pipeline
- 参与大语言模型的数据质量提升，包括数据风控策略、异常数据检测、数据修复和特定领域数据扩充
- 参与模型训练数据标签体系建设，建设数据自动打标服务，完成海量数据打标
- 参与模型数据全生命周期调优，实现数据自动处理，提高处理效率，缩短数据交付周期
任职要求
- 本科及以上学历，计算机相关专业，三年以上数据开发经验
- 精通Python语言，熟悉Spark、Ray等分布式框架，具备丰富的大规模数据处理实践经验者优先
- 在大规模文本数据质量提升、多模态数据处理、文本数据清洗或语音数据处理方向有实践经验或浓厚兴趣者优先
加分项
- 以下方向有实践经验或兴趣浓厚优先：大规模文本数据质量提升、多模态数据处理、文本数据清洗、语音数据处理