Stepstar实习-LLM预训练数据算法工程师
岗位摘要
参与工业级LLM预训练数据体系的构建与优化，包括Web、Book、Code等多源数据的数据挖掘与质量分析，贡献万亿级别token的高质量语料库；利用大规模CPU/GPU集群优化数据管线，支撑PB级数据的处理与持续迭代
岗位职责
- 参与工业级LLM预训练数据体系的构建与优化，包括Web、Book、Code等多源数据的数据挖掘与质量分析，贡献万亿级别token的高质量语料库
- 利用大规模CPU/GPU集群优化数据管线，支撑PB级数据的处理与持续迭代
- 参与数据策略制定与消融实验设计，深度分析不同数据方案对模型能力（知识、推理、表达等方面）的影响
任职要求
- 计算机、数学、数据科学等相关专业，本科及以上学历
- CS/Coding功底扎实，熟悉Python，具备深度学习/强化学习基础知识
- 对数据科学有兴趣，有较好的数据sense，能从大规模数据分析与实验中识别影响模型表现的关键信号
- 具备强烈的好奇心与自驱力，对AI数据体系建设与模型优化充满热情
- 有参与LLM预训练数据相关工作的经验，包括开源数据集构建、评测集设计、数据清洗pipeline等优先
- 每周不少于4天到岗，且能实习3个月以上
福利待遇
- 实习薪资500-1000元/天
工作地址
北京海淀区大恒科技大厦12F