AI平台大数据架构工程师
岗位摘要
负责AI平台大数据架构演进以及推进落地；根据不同领域场景大模型落地需求，与算法团队和IT基础设施团队紧密合作；提出大模型训练和优化数据规模、数据类型、数据结构等建议，确保架构有效实施；负责搭建大模型数据平台，支撑大模型数据的存储、预处理（去重、相似度计算、脱敏等）诉求
岗位职责
- 负责AI平台大数据架构演进以及推进落地
- 根据不同领域场景大模型落地需求，与算法团队和IT基础设施团队紧密合作
- 提出大模型训练和优化数据规模、数据类型、数据结构等建议，确保架构有效实施
- 负责搭建大模型数据平台，支撑大模型数据的存储、预处理（去重、相似度计算、脱敏等）诉求
- 针对大模型场景、数据类型、数据规模设计高扩展性架构，以支持大模型数据集持续迭代
- 实现高质量数据集沉淀，确保数据安全和隐私保护
- 与算法团队紧密协作，抽象研发诉求，落地为便捷实用的的平台能力
- 提升整个团队的工作效率和数据处理能力
任职要求
- 熟悉大模型训练数据的需求特点，包括数据规模、类型和结构
- 掌握大规模数据存储与预处理技术，如数据去重、相似度计算、数据脱敏等
- 具有构建高扩展性数据平台的实践经验
- 具备良好的跨团队协作能力，能与算法团队和基础设施团队高效沟通
- 关注数据安全与隐私保护，有相关实践经验