大模型推理加速算法实习生
岗位摘要
研究并复现前沿 speculative decoding 方法，包括 EAGLE / EAGLE-3、Medusa、Hydra、Lookahead Decoding、Self-Speculative Decoding、MTP、DFlash、DFlare、DART 等方向
登录后保留你的岗位线索
邮箱登录后可继续查看完整职责、任职要求和原岗位入口，并使用收藏与浏览记录沉淀适合自己的机会。
岗位职责
- 研究并复现前沿 speculative decoding 方法，包括 EAGLE / EAGLE-3、Medusa、Hydra、Lookahead Decoding、Self-Speculative Decoding、MTP、DFlash、DFlare、DART 等方向
- 探索 draft model / draft head / MTP module 的训练方法，提升 draft token 质量、acceptance rate、accepted length 和整体推理加速收益
- 设计并优化 speculative decoding 流程，包括 draft generation、target verification、rejection sampling、tree decoding、KV cache 复用等模块
- 建立系统化实验评估，分析不同方法在 tokens/s、latency、acceptance rate、显存占用、训练成本和模型效果上的差异
- 基于 Megatron-LM 等大模型训练框架，参与 MTP / speculative decoding 相关训练实验、模型结构改造和训练稳定性优化
- 与训练和推理 Infra 团队合作，将算法方案落地到大模型训练框架和推理框架中
任职要求
- 计算机、人工智能、机器学习、数学等相关专业，本科及以上学历，优秀本科生或研究生均可
- 熟悉 Transformer 和自回归语言模型，理解 LLM 的训练、推理、KV cache、prefill / decode 等基本机制
- 熟练使用 PyTorch，具备扎实的 Python 编程能力和实验分析能力
- 熟悉 Megatron-LM 训练框架
- 具备良好的工程能力、学习能力和 owner 意识，能独立阅读论文、复现方法并推进实验迭代
加分项
- 有 vLLM、SGLang、TensorRT
- LLM、DeepSpeed、FSDP 等框架经验
- 熟悉 CUDA / Triton，有推理系统、算子优化或高性能计算经验
- 有 Megatron
- LM 源码改造经验，例如模型结构修改、loss 改造、并行训练适配、checkpoint 转换或训练性能优化
- 在大模型推理加速、Speculative Decoding、MTP、模型压缩或高效训练方向有论文、开源项目或实习经验
- 在 NeurIPS、ICML、ICLR、ACL、EMNLP、COLM、MLSys 等会议发表过相关论文，或有 ACM / ICPC / NOI / IOI 等竞赛经历
- 毕女士 本周活跃
福利待遇
- 实习薪资500-1000元/天
- 参与前沿大模型推理加速技术研发
- 与顶尖团队合作，积累实战经验
工作地址
北京海淀区京东科技大厦13
登录后查看完整岗位详情
使用邮箱验证码登录后，可查看完整职责、任职要求、原岗位入口，并继续使用收藏和浏览记录。列表摘要保持公开，完整详情用于保护数据质量和降低恶意抓取。