大模型评测平台专家
岗位摘要
负责大模型评测平台整体架构设计、核心模块开发与迭代优化，面向预训练、微调、推理全链路，搭建支撑千亿级模型、分布式集群、量化部署的标准化、自动化、可观测评测体系；设计并落地大模型全维度深度评测指标体系，覆盖吞吐、延迟、显存、稳定性等工程指标及通用能力、逻辑推理、长文本一致性、幻觉率、量化精度衰减等模…
岗位职责
- 负责大模型评测平台整体架构设计、核心模块开发与迭代优化，面向预训练、微调、推理全链路，搭建支撑千亿级模型、分布式集群、量化部署的标准化、自动化、可观测评测体系
- 设计并落地大模型全维度深度评测指标体系，覆盖吞吐、延迟、显存、稳定性等工程指标及通用能力、逻辑推理、长文本一致性、幻觉率、量化精度衰减等模型能力评测维度
- 针对稀疏MoE、动态推理、KV Cache优化、分布式并行训练等核心场景设计专项评测方案与自动化用例
- 主导主流大模型、多模态模型、MoE稀疏模型在MUSA算力生态的训推适配与对标评测，深入比对CUDA与MUSA算子差异、并行策略差异及框架底层逻辑差异
- 精准定位精度异常、性能瓶颈、收敛异常、显存泄漏等深层次软硬件问题，联合编译器、算子、算法团队完成性能调优与问题闭环
任职要求
- 硕士及以上学历，计算机、人工智能、软件工程等相关专业
- 3年及以上大模型训推、评测平台研发、AI infra工程落地经验，具备千亿级大模型或分布式集群评测实战经验
- 熟练掌握Python，能够独立开发评测脚本、评测工具及平台相关功能
- 扎实的大模型算法与训练推理infra功底，精通Transformer架构、并行训练策略（数据/张量/流水线并行）、KV Cache、量化压缩（INT8/INT4）、稀疏推理、长文本优化核心原理
- 熟悉模型收敛、梯度更新、推理解码机制，能够从算法与工程双维度分析模型性能与精度问题
- 熟悉Linux环境、Shell脚本、Docker容器化部署，具备CI/CD流水线、自动化测试平台搭建与落地经验
福利待遇
- 薪资范围40,000至70,000元，共16薪
工作地址
北京朝阳区望京国际研发园l座3层