大数据开发工程师
岗位摘要
负责小爱内容资源数据流及数据服务建设；负责小爱内容数据、搜索推荐服务架构优化；负责小爱用户画像、LLM通用知识库建设；熟悉大数据相关技术：Spark/Flink/Hadoop/HBase/Hive/Iceberg等
岗位职责
- 负责小爱内容资源数据流及数据服务建设
- 负责小爱内容数据、搜索推荐服务架构优化
- 负责小爱用户画像、LLM通用知识库建设
任职要求
- 熟悉大数据相关技术：Spark/Flink/Hadoop/HBase/Hive/Iceberg等
- 熟练使用Java、Scala、Python语言中的一种或者多种，熟悉java常见数据结构、多线程并发、JVM等
- 熟悉常用基础组件：Mq/Redis/Es等；具备数据库系统理论知识，熟悉Mysql/Tidb等，精通SQL
- 有过分布式、高并发业务系统搭建经验优先
- 熟悉大模型(LLM)技术，对向量数据库、RAG等有过深入调研优先
- 责任心强，具有较强的学习、沟通和问题解决能力