数据专员
岗位摘要
参与收集、处理、清洗来自网页、电子书等多种渠道的原始文本数据;与大模型算法团队、数据采集团队、分布式训练工程团队密切合作,建立数据系统迭代流程;建立针对大模型的数据质量评估方法;持续提高数据质量、多样性、安全性和有用性
岗位职责
- 参与收集、处理、清洗来自网页、电子书等多种渠道的原始文本数据
- 与大模型算法团队、数据采集团队、分布式训练工程团队密切合作,建立数据系统迭代流程
- 建立针对大模型的数据质量评估方法
- 持续提高数据质量、多样性、安全性和有用性
参与收集、处理、清洗来自网页、电子书等多种渠道的原始文本数据;与大模型算法团队、数据采集团队、分布式训练工程团队密切合作,建立数据系统迭代流程;建立针对大模型的数据质量评估方法;持续提高数据质量、多样性、安全性和有用性