研究工程师，模型评估
岗位摘要
设计并运行Claude能力的新评估，包括推理、代理行为、知识和安全属性，并生成可视化结果供研究员和决策者理解；构建并强化分布式评估执行平台，使数百个评估能在生产RL训练过程中可靠地针对检查点运行
岗位职责
- 设计并运行Claude能力的新评估，包括推理、代理行为、知识和安全属性，并生成可视化结果供研究员和决策者理解
- 构建并强化分布式评估执行平台，使数百个评估能在生产RL训练过程中可靠地针对检查点运行
- 负责研究员和领导层用于监控训练中模型健康的仪表板，提高信噪比、降低延迟，并使性能退化无法被忽视
- 在训练运行中调试异常评估结果，判断原因是模型变化还是基础设施问题，并在时间压力下清晰沟通答案
- 改进研究员用于实现和迭代评估的工具、库和工作流程
- 与研究团队合作，贯穿新能力的整个生命周期——从定义测量内容到随着训练进展解释结果
- 运行实验，表征提示、采样和脚手架选择如何影响内部和行业基准的结果
- 向内部利益相关者沟通评估及其结果，并在适当情况下向外部受众传达
任职要求
- 具备设计和实施评估或基准测试的经验，能够将模糊概念转化为可量化的指标
- 强大的工程能力，能够构建和维护大规模分布式系统，确保评估可靠运行
- 熟悉机器学习训练流程，能够与研究员合作定义测量内容并解释结果
- 具备调试复杂系统问题的能力，能够快速判断模型变化与基础设施问题的根源
- 有构建仪表板和可视化工具的经验，能够清晰呈现数据并突出关键信号
- 优秀的沟通能力，能够向技术和非技术受众解释评估结果
- 有运行实验和分析提示、采样、脚手架对结果影响的经验
- 对AI安全与有益性有热情，致力于构建可靠、可解释、可引导的AI系统