人才研究数据科学家，AI公平性与偏见
岗位摘要
定义并领导AI辅助人才流程、模型、代理和决策支持系统的公平性与偏见测试策略，涵盖开发、部署和持续监控；设计严格的算法审计和验证研究，包括不利影响分析、子组和交叉评估、错误率分析、校准、测量不变性、可靠性、效标关联效度和敏感性测试
岗位职责
- 定义并领导AI辅助人才流程、模型、代理和决策支持系统的公平性与偏见测试策略，涵盖开发、部署和持续监控
- 设计严格的算法审计和验证研究，包括不利影响分析、子组和交叉评估、错误率分析、校准、测量不变性、可靠性、效标关联效度和敏感性测试
- 为每个用例确定适当的公平性标准，评估竞争性公平定义之间的权衡，并清晰记录每种方法的假设、局限性和剩余风险
- 评估端到端的人机决策系统，包括模型输出、用户行为、人工覆盖、升级路径，以及AI辅助是否改变决策的质量、一致性或公平性
- 为生成式和代理式AI开发评估方法，包括测试集设计、反事实测试、行为评估、人工评分研究、鲁棒性测试，以及跨人群和情境的差异性能分析
- 调查观察到的差异来源，包括数据代表性、标签和测量偏差、代理变量、模型设计、决策阈值、工作流设计以及采用或使用差异
- 与工程、人才运营、法务、隐私、安全和人才系统团队合作，推荐和评估缓解措施，如数据改进、模型更改、阈值调整、工作流重新设计、监控控制和额外人工监督
- 构建可扩展的公平性评估基础设施，包括可重用数据集、自动化验证管道、回归测试、监控系统、自助工具和标准化报告
- 建立公平性测试计划、数据集和模型文档、验证报告、局限性、监控计划和决策记录的研究和文档标准
- 将复杂发现转化为简洁、可决策的叙述，帮助领导者理解已识别风险的重要性、证据强度、可用缓解选项和剩余不确定性
任职要求
- 在算法公平性、偏见测量、负责任AI、心理测量学、应用统计学或高影响决策系统评估方面具有深厚专业知识
- 在研究设计、测量、实验、因果推断和统计分析方面具有卓越能力