返回岗位列表

基座大模型算法研究员(Mid-训练

查看原岗位

地点：北京薪资：薪资未公开日期：未知

岗位摘要

构建Trillion级别的大规模跨模态数据处理与合成链路，优化从数据清洗到动态配比建模的全流程；探索大规模合成数据与自蒸馏技术，制定Pre-training与Mid-training阶段的合成数据应用策略

岗位职责

构建Trillion级别的大规模跨模态数据处理与合成链路，优化从数据清洗到动态配比建模的全流程
探索大规模合成数据与自蒸馏技术，制定Pre-training与Mid-training阶段的合成数据应用策略
研究Data Scaling Laws，解决数据扩展中的模型坍塌与多样性瓶颈问题，优化Token/FLOPs转化效率
持续提升模型的Context Length，优化超长上下文机制，提升长文理解、长程推理等任务表现
探索MoE、稀疏注意力等高效模型结构，结合剪枝与稀疏化技术优化训练与推理效率
研究多模态预训练新范式，突破模态融合瓶颈，提升多语言、多模态交互场景下的原生能力
面向Agent、具身智能等前沿场景，提升模型的多模态指令遵循与复杂任务规划能力
探索持续学习与模型自进化机制，研究多模态奖励模型与大规模RL在Mid-training阶段的应用
研究推理阶段扩展及全模态链式思维，推动模型向深度推理与问题解决演进

任职要求

参与大语言模型、多模态大模型核心技术研发，接触全模态融合、超长上下文等前沿技术
参与探索高效模型架构创新，参与大模型全链路核心技术研发，接触模型设计、分布式训练和推理优化等前沿技术

福利待遇

团队扁平，人才密度高，美团“北斗计划”和博士员工比例高
近年团队在ICLR、NeurIPS、ICML、ACL等顶会累计发表论文50余篇
团队员工获EMNLP 2024 Outstanding Paper、ACL 2025 Outstanding Paper，吴文俊人工智能奖科技进步奖、CCF科技成果奖等荣誉激励
充足算力保障，拥有大规模分布式训练环境和丰富数据资源