大模型流量调度工程师
岗位摘要
负责大规模的的流量调度框架设计与开发；负责提升流量分发系统的效率，在稳定性，吞吐，延迟等多维指标中构建优化目标进行合理取舍；负责负载均衡算法的研发与迭代，能够根据多种类型的流量负载Pattern进行合理选型以及调优
登录后保留你的岗位线索
邮箱登录后可继续查看完整职责、任职要求和原岗位入口，并使用收藏与浏览记录沉淀适合自己的机会。
岗位职责
- 负责大规模的的流量调度框架设计与开发
- 负责提升流量分发系统的效率，在稳定性，吞吐，延迟等多维指标中构建优化目标进行合理取舍
- 负责负载均衡算法的研发与迭代，能够根据多种类型的流量负载Pattern进行合理选型以及调优
- 负责针对LLM训推服务的需求迭代流量承载模型，包括但不限于同步，异步，流式，批式等
任职要求
- 计算机及相关专业，本科及以上学历
- 有跨集群 & 集群内流量调度，流量代理，负载均衡，大规模分布式系统等相关经验
- 熟悉LLM生态，对MOE，PD分离，EP并行等LLM架构有经验者优先
- 有扎实的编程能力和代码品位，良好的数据结构和算法基础，有acm/icpc，oi等竞赛获奖经历者优先
- 能熟练使用一种编程语言，包括不限于Golang/Python/C++/C
- 理解常规的架构设计思想，包括不限于服务化、异步、高可用、可扩展等
- 有良好的团队沟通和协作能力，有良好的责任心
- 对常用的云原生中间件有深入了解，如ServiceMesh，Redis，MQ等
- 有可观测意识，熟悉常用的可观测组件
登录后查看完整岗位详情
使用邮箱验证码登录后，可查看完整职责、任职要求、原岗位入口，并继续使用收藏和浏览记录。列表摘要保持公开，完整详情用于保护数据质量和降低恶意抓取。