大模型架构研究员（协同设计方向）
岗位摘要
研究大模型的高效扩展方法，包括MoE、模型Upcycling、Loop、计算与状态复用等方向，分析不同模型结构在模型能力、训练成本和推理成本上的取舍；研究Attention和Memory相关架构，包括Sparse/Hybrid Attention、KV Cache压缩与共享、跨层信息复用等，重点关…
岗位职责
- 研究大模型的高效扩展方法，包括MoE、模型Upcycling、Loop、计算与状态复用等方向，分析不同模型结构在模型能力、训练成本和推理成本上的取舍
- 研究Attention和Memory相关架构，包括Sparse/Hybrid Attention、KV Cache压缩与共享、跨层信息复用等，重点关注长上下文及推理过程中的计算、存储与访存开销
- 研究模型与计算架构的协同设计，通过性能建模、架构仿真和实验分析，研究不同AI加速器的计算、存储和通信特性对模型效率的影响，探索适合不同硬件架构的模型结构与计算方法
- 参与新架构的设计和验证，包括算法原型开发、小规模训练、消融实验、性能建模与测试，评估模型效果、训练效率及推理成本
- 与模型算法、训练和推理团队合作，推动研究方案的进一步验证与实际应用；同时自主发现值得研究的技术问题，开展中长期架构预研
任职要求
- 在大模型算法、AI Systems、分布式计算、计算机体系结构或AI加速器等至少一个方向有扎实的技术积累
- 理解Transformer及大模型的基本架构，对模型训练、推理及其计算效率有一定认识
- 具备较强的技术分析和研究能力，能够从实际问题出发提出解决思路，并通过建模、仿真、原型或实验进行验证
- 具备良好的编程和动手能力，愿意深入技术细节，能够独立分析和解决复杂技术问题
- 对技术有好奇心和研究热情，逻辑清晰，自驱力强，具备良好的跨领域学习与协作能力
加分项
- 有模型架构、Model Scaling、Attention、MoE 或模型效率相关研究经验
- 有大模型训练/推理性能分析、Cost Modeling、Hardware-Software Co-Design 等相关经验
- 熟悉 GPU/AI 加速器架构、体系结构性能建模、架构级仿真、计算与存储系统或高性能计算等技术
- 曾主导创新性技术项目，或在相关领域发表过高质量论文、参与过有影响力的开源项目
- 我们欢迎不同技术背景的候选人，不要求同时精通模型算法、系统和硬件，更看重某一方向的技术深度、研究能力和跨领域探索的意愿