大模型流量调度工程师
岗位摘要
负责大规模流量调度框架的设计与开发；负责提升流量分发系统的效率，在稳定性、吞吐、延迟等多维指标中构建优化目标进行合理取舍；负责负载均衡算法的研发与迭代，能够根据多种类型的流量负载模式进行合理选型以及调优
岗位职责
- 负责大规模流量调度框架的设计与开发
- 负责提升流量分发系统的效率，在稳定性、吞吐、延迟等多维指标中构建优化目标进行合理取舍
- 负责负载均衡算法的研发与迭代，能够根据多种类型的流量负载模式进行合理选型以及调优
- 负责针对LLM训推服务的需求迭代流量承载模型，包括但不限于同步、异步、流式、批式等
任职要求
- 计算机及相关专业，本科及以上学历
- 有跨集群和集群内流量调度、流量代理、负载均衡、大规模分布式系统等相关经验
- 熟悉LLM生态，对MOE、PD分离、EP并行等LLM架构有经验者优先
- 有扎实的编程能力和代码品位，良好的数据结构和算法基础，有ACM/ICPC、OI等竞赛获奖经历者优先
- 能熟练使用一种编程语言，包括但不限于Golang/Python/C++/C
- 理解常规的架构设计思想，包括但不限于服务化、异步、高可用、可扩展等
- 有良好的团队沟通和协作能力，有良好的责任心
- 对常用的云原生中间件有深入了解，如ServiceMesh、Redis、MQ等
- 有可观测意识，熟悉常用的可观测组件