返回岗位列表

算法工程师【ChatGLM基座模型-数据研究】

查看原岗位

地点：北京薪资：薪资未公开日期：2025-02-25

岗位摘要

一、大规模预训练数据处理与优化；设计和优化PB级训练数据的筛选、去重、清洗体系；基于LLM模型的语义级去重算法、质量筛选算法优化；领域特定数据筛选策略，支持代码、数学、科学等专业领域；二、数据质量评估与优化体系

岗位职责

一、大规模预训练数据处理与优化
设计和优化PB级训练数据的筛选、去重、清洗体系
基于LLM模型的语义级去重算法、质量筛选算法优化
领域特定数据筛选策略，支持代码、数学、科学等专业领域
二、数据质量评估与优化体系
构建基于大模型的数据质量自动评估系统
设计数据多样性、复杂度、有用性等多维度评估指标
优化数据配比策略，包括领域权重、语言分布、质量分层
构建数据污染检测算法，识别测试数据泄露

任职要求

统招硕士或以上学历，计算机、AI相关专业
大模型预训练项目经验，深度参与过大模型预训练数据处理
有处理TB级以上训练数据的实际项目经验
精通分布式计算框架（Spark、Ray、Maxcompute等）
掌握高性能文本处理算法（LSH、SimHash等）
熟悉云原生数据处理架构
熟悉数据质量评估指标和方法
有开源大模型项目数据相关的贡献经验
发表过大模型数据相关的顶会论文
熟悉 AI 伦理与安全合规的数据处理流程