LLM长文数据实习（预训练/中期训练方向）
岗位摘要
参与预训练长文数据体系建设，围绕代码仓库、书籍、论文、网页、问答、多轮对话等数据源设计数据分类、质量标准和元数据规范；参与长文数据筛选与构造，识别跨章节依赖、跨文件依赖、长程引用等真正需要长上下文建模的样本
岗位职责
- 参与预训练长文数据体系建设，围绕代码仓库、书籍、论文、网页、问答、多轮对话等数据源设计数据分类、质量标准和元数据规范
- 参与长文数据筛选与构造，识别跨章节依赖、跨文件依赖、长程引用等真正需要长上下文建模的样本
- 参与长文合成数据建设，设计任务模板、数据schema和instruction-response样本，构造检索、归纳、推理等长上下文任务
- 参与数据处理与自动化管线开发，使用Python/Spark/SQL等工具处理大规模文本数据，完成清洗、切分、去重、过滤等
- 参与数据质量评估和实验分析，设计数据打分、规则过滤、模型辅助评估、LLM-as-judge等流程，分析数据对模型效果的影响
- 参与long context评测设计，协助构建或分析长文档理解、跨段检索、代码仓库理解等评测
- 跟踪前沿研究与业界实践，调研long context预训练、数据策展、合成数据、上下文扩展等相关论文并转化为数据方案
任职要求
- 计算机、人工智能、自然语言处理、数据科学、软件工程或相关专业在读，本科高年级、硕士、博士均可
- 熟悉Python，具备良好的数据处理和工程实现能力；有Pandas、PySpark、SQL、Hadoop/Hive、Ray等大数据处理经验者优先
- 理解Transformer/LLM的基本原理，了解预训练、继续预训练、指令微调、tokenization、loss、数据配比、evaluation等基本概念
- 对long context LLM有兴趣，理解或愿意深入研究长文本不等于长上下文能力、模型需要什么数据学习远距离依赖等问题
- 具备较强的问题拆解和实验分析能力，能够从模型评测结果、训练日志、样本case和数据统计中定位问题
- 具备良好的代码习惯和文档习惯，能够清晰记录数据来源、处理逻辑、实验配置、结果和结论
- 加分项：有LLM预训练、数据工程、数据清洗、数据合成、评测构建相关经验；熟悉一种或多种长上下文场景；有Spark/Hive分布式数据处理经验；有NLP/LLM论文阅读和复现经验；有数据质量模型、分类器、embedding recall、synthetic data generation等经验；有较强英文论文阅读能力
加分项
- 有 LLM 预训练、继续预训练、数据工程、数据清洗、数据合成、评测构建相关经验
- 熟悉一种或多种长上下文场景：代码仓库、论文/书籍、法律/金融长文档、技术文档、网页/wiki、论坛/Q&A、多轮对话、agent 轨迹等
- 有 Spark / Hive / 分布式数据处理经验，处理过 TB 级以上文本数据者优先
- 有 NLP / LLM 相关论文阅读和复现经验，熟悉 LongBench、RULER、HELMET、Needle
- Haystack、repo
- level code eval、ICL eval 等评测者优先
- 有数据质量模型、分类器、打分器、embedding recall、dedup、contamination detection、synthetic data generation、prompt engineering、自动化评测、代码/数学/问答数据构造经验者优先
- 有较强英文论文阅读能力，能独立调研并总结前沿方法
- 深度参与大模型 pretrain / midtrain 阶段的 long context 数据建设，而不是只做下游应用或简单标注
- 接触真实的大规模训练数据、长上下文训练策略、数据消融实验和模型评测闭环
- 与算法、数据、训练基础设施团队协作，理解从语料、token、配比、训练到评测的完整链路
- 有机会将调研或实验结果沉淀为内部技术报告、数据规范、评测集或训练数据方案
- 刘女士 刚刚活跃
福利待遇
- 深度参与大模型预训练/中期训练阶段的long context数据建设，而非仅做下游应用或简单标注
- 接触真实的大规模训练数据、长上下文训练策略、数据消融实验和模型评测闭环
- 与算法、数据、训练基础设施团队协作，理解从语料、token、配比、训练到评测的完整链路
- 有机会将调研或实验结果沉淀为内部技术报告、数据规范、评测集或训练数据方案
工作地址
北京海淀区大恒科技大厦12F