数据工程师（预训练数据方向）
岗位摘要
设计和构建可扩展的数据管道，以摄取、解析、过滤和优化多样化的网络数据集；进行数据消融分析以评估数据质量，并尝试不同的数据混合方案以提升模型性能；开发稳健的数据建模技术，确保数据集的结构和格式达到最佳训练效率
登录后保留你的岗位线索
邮箱登录后可继续查看完整职责、任职要求和原岗位入口，并使用收藏与浏览记录沉淀适合自己的机会。
岗位职责
- 设计和构建可扩展的数据管道，以摄取、解析、过滤和优化多样化的网络数据集
- 进行数据消融分析以评估数据质量，并尝试不同的数据混合方案以提升模型性能
- 开发稳健的数据建模技术，确保数据集的结构和格式达到最佳训练效率
- 研究和实施创新的数据整理方法，利用公司基础设施推动自然语言处理领域的进步
- 与跨职能团队（包括研究人员和工程师）合作，确保数据管道满足前沿语言模型的需求
任职要求
- 扎实的软件工程技能，精通Python，并具有构建数据管道的经验
- 熟悉数据处理框架，如Apache Spark、Apache Beam、Pandas或类似工具
- 具有处理大规模网络数据集的经验
登录后查看完整岗位详情
使用邮箱验证码登录后，可查看完整职责、任职要求、原岗位入口，并继续使用收藏和浏览记录。列表摘要保持公开，完整详情用于保护数据质量和降低恶意抓取。