大模型数据研发工程师
岗位摘要
设计和开发大规模预训练数据处理链路，为基座模型预训练提供稳定可靠的高质量数据处理能力，涵盖数据寻源、采集与解析等；设计和开发服务大模型预训练的数据平台，管理海量文本和多模态数据的元信息、血缘、存储治理等全生命周期要素，并提供可视化与可观测能力，探索数据实验与数据发版的工程上限
岗位职责
- 设计和开发大规模预训练数据处理链路，为基座模型预训练提供稳定可靠的高质量数据处理能力，涵盖数据寻源、采集与解析等
- 设计和开发服务大模型预训练的数据平台，管理海量文本和多模态数据的元信息、血缘、存储治理等全生命周期要素，并提供可视化与可观测能力，探索数据实验与数据发版的工程上限
- 根据大模型训练数据特点，抽象并开发高效可靠的数据加工框架，提升大模型算法工程师处理数据的工程效率，支持千亿网页数据规模的大规模处理
- 与团队成员共同攻克技术难题，持续迭代项目能力输出，提高服务质量
任职要求
- 熟练掌握Java、Python等主流编程语言，具备核心业务系统、大规模在线系统及数据处理系统架构设计与开发经验
- 具备优秀的编码能力、架构设计能力和分析解决问题能力，能够发现业务痛点并通过架构改进解决问题
- 有面对技术挑战的热情，能独立思考，具有好奇心和快速学习能力，对业务、产品和技术有浓厚兴趣，对技术驱动业务有强烈激情，持续学习成长，勤于思考总结，结果导向
- 责任心强，积极主动，有良好的沟通能力和团队合作能力
福利待遇
- 紧跟AI最前沿，深度参与大语言模型数据系统的建设及迭代过程，了解大语言多模态模型内部数据处理机制以及scalingLaw迭代流程
- 参与重点项目从0到1建设，解决大模型数据领域遇到的各类问题，流量大，业务复杂，挑战多，发展空间大