AI模型推理评估员
岗位摘要
评估模型输出的事实准确性、逻辑连贯性、谬误推理和隐藏假设；识别细微的意识形态影响、统计谬误和修辞技巧；撰写体现知识诚实性、来源评估、主次来源权衡以及置信度界定的示范性推理文本；构建对抗性示例和红队提示，以暴露模型剩余的认知弱点
岗位职责
- 评估模型输出的事实准确性、逻辑连贯性、谬误推理和隐藏假设
- 识别细微的意识形态影响、统计谬误和修辞技巧
- 撰写体现知识诚实性、来源评估、主次来源权衡以及置信度界定的示范性推理文本
- 构建对抗性示例和红队提示，以暴露模型剩余的认知弱点
- 参与定义和扩展旨在寻求真相行为的宪法原则
任职要求
- 在高严谨性领域有已发表的学术成果或受过相关学术训练
- 在预测（如Metaculus, Good Judgment）、严谨分析或公开纠错方面有良好记录
- 在以下至少三个领域有深厚知识：科学哲学、认知心理学、统计学、逻辑学、语言学、历史学、经济学或相关学科
- 能够公正地理解对立观点，并区分既定知识与推测
- 习惯依赖一手资料和基础概率
- 具备情报分析、调查性新闻或学术同行评审经验者优先
福利待遇
- 时薪为总薪酬方案的一部分
- 具体福利因国家/地区而异，根据居住地可能享有医疗福利