技术团队成员，North 建模（评估）
岗位摘要
负责 North 的评估策略：定义需要衡量的内容，覆盖智能体工作流、工具使用、企业知识工作（如深度研究、文档创建或编辑）以及其他人与 AI 的交互；基于产品现实构建高质量评估：用户反馈、生产故障、隐私保护使用日志、内部试用、客户需求和前瞻性产品目标
岗位职责
- 负责 North 的评估策略：定义需要衡量的内容，覆盖智能体工作流、工具使用、企业知识工作（如深度研究、文档创建或编辑）以及其他人与 AI 的交互
- 基于产品现实构建高质量评估：用户反馈、生产故障、隐私保护使用日志、内部试用、客户需求和前瞻性产品目标
- 创建系统，持续将 North 从用户、客户和功能团队学到的东西转化为评估，使衡量与产品同步，而非静态基准
- 在建模团队中担任 North 的代言人：从评估结果、客户衍生数据和产品背景中提炼清晰洞察，将模型故障、能力差距和 North 特定需求转化为对中央建模团队的可执行建议
任职要求
- 曾通过评估、反馈闭环、数据整理、提示工程、模型适配或模型选择改进 LLM 驱动、智能体驱动或 AI 产品系统
- 深度重视评估这一工艺：代表性任务、精确评分标准、干净数据、故障分析、回归跟踪，并知道何时指标会带来虚假信心
- 具备强大的应用型机器学习工程判断力，并能清晰推理
- 热衷于构建严谨的评估，能够捕捉复杂的智能体工作流、反映真实客户需求、抵抗表面化的基准作弊，并为产品与模型下一步方向提供有用信号