数据标注专家（通用型）
岗位摘要
评估并排序模型输出：完成偏好与比较任务，判断哪些回答最符合项目在准确性、有用性、语气和安全性方面的准则，并为判断撰写清晰的理由；对模型进行压力测试并找出其缺陷：以对抗方式探测模型，揭示失败模式、不安全行为和能力缺口，并记录可复现案例供工程与研究团队处理
岗位职责
- 评估并排序模型输出：完成偏好与比较任务，判断哪些回答最符合项目在准确性、有用性、语气和安全性方面的准则，并为判断撰写清晰的理由
- 对模型进行压力测试并找出其缺陷：以对抗方式探测模型，揭示失败模式、不安全行为和能力缺口，并记录可复现案例供工程与研究团队处理
- 创建数据集：根据详细规范撰写高质量提示、回答和范例，构建训练与评估数据集，并将机器或人工生成的输出编辑至标准
- 构建并应用评分标准和分类体系：参与设计评分标准与量规，并一致地应用它们，以跨任务类型产出结构化、高质量标注
- 标注并纠正多模态数据：在文本、图像和结构化数据中标注、审计并纠正不准确之处，保持高数据完整性与准确性标准
- 校准并保持一致性：参与校准练习和标注者间一致性检查，以统一标准，并标记模糊或未覆盖的边缘案例，而非猜测，因为一次误判在规模化复制后会损害模型
- 适应实验性工作：随项目需求变化承担新的、不断演进的任务类型，在指南仍在制定中的领域运用良好判断力
- 报告模型表现：发现并沟通模型与智能体行为中的质量与性能趋势，向跨职能伙伴提供清晰、有证据支持的反馈，说明模型在何处成功、失败和退化
任职要求
- 拥有1年以上AI数据标注、大语言模型或相关领域经验
- 具备出色的分析能力和判断力，能够完成非被动的数据录入工作
- 能够在英文环境中评估、排名和纠正模型输出
- 熟悉多模态数据标注，包括文本、图像以及JSON、CSV/TSV、Markdown等结构化格式
- 能够遵循详细规范，保持高数据完整性与一致性
- 能够参与校准练习和标注者间一致性检查，并标记模糊或未覆盖的边缘案例
- 能够适应实验性、不断变化的任务类型
- 能够每周投入16小时，并自备笔记本电脑
- 需位于加拿大，可远程工作
福利待遇
- 远程办公，工作地点灵活
- 兼职独立承包商形式，每周需投入16小时
- 合同时薪为30加元
- 有机会直接参与前沿大语言模型的训练与评估，对AI技术发展产生实际影响