返回岗位列表

语言大模型架构/优化/Scaling实习生

查看原岗位

地点：北京薪资：500-1000元/天日期：2026-03-03

岗位摘要

深度参与前沿大模型（LLM）的架构设计与迭代，重点攻关Attention机制（如MLA, Linear Attention, VQ）、MoE等SOTA结构的性能与效率瓶颈；推动模型在上下文长度与参数规模上实现突破

岗位职责

深度参与前沿大模型（LLM）的架构设计与迭代，重点攻关Attention机制（如MLA, Linear Attention, VQ）、MoE等SOTA结构的性能与效率瓶颈
推动模型在上下文长度与参数规模上实现突破
主导模型优化器与训练策略的研究，深入分析优化动力学
探索二阶优化（如Hessian-free）的可行性
应用μ-Parametrization (MuP)等技术指导模型稳定、高效地Scaling
与Infra团队紧密合作，共同设计和优化训练框架
将前沿算法思想高效映射到大规模GPU集群上，提升训练稳定性与资源利用率

任职要求

985/211/海外知名高校硕士及以上学历，计算机、人工智能、数学等相关专业
在大模型领域有丰富的实战经验，熟悉Transformer
在以下至少一个方向有深入实践：模型结构创新、训练优化器、大规模训练（Scaling）或推理优化
编程能力卓越，精通PyTorch/JAX等框架，有丰富的深度学习模型训练及调优经验
具备强烈的技术热情和owner意识，善于沟通协作，能独立承担复杂挑战
加分项：熟悉Triton、CUDA，有高性能计算或算子优化经验
加分项：熟悉优化器/LLM Scaling原理
加分项：在ICLR、NeurIPS、ICML等ML/NLP顶会上发表过相关论文
加分项：有ACM/IOI/NOI等算法竞赛获奖经历

加分项

（有以下经验者优先）：熟悉Triton、CUDA，有高性能计算或算子优化经验
熟悉优化器/LLM Scaling原理
在ICLR、NeurIPS、ICML等ML/NLP顶会上发表过相关论文
有ACM/IOI/NOI等算法竞赛获奖经历
罗女士刚刚活跃

福利待遇

实习薪资500-1000元/天

工作地址

北京海淀区京东科技大厦13F