返回岗位列表

AI模型推理评估员

查看原岗位

地点：美国薪资：$40-$70 日期：2026-01-29

岗位摘要

评估模型输出的事实准确性、逻辑连贯性、谬误推理和隐藏假设；识别细微的意识形态影响、统计谬误和修辞技巧；撰写体现知识诚实性、来源评估、主次来源权衡以及置信度界定的示范性推理文本；构建对抗性示例和红队提示，以暴露模型剩余的认知弱点

岗位职责

评估模型输出的事实准确性、逻辑连贯性、谬误推理和隐藏假设
识别细微的意识形态影响、统计谬误和修辞技巧
撰写体现知识诚实性、来源评估、主次来源权衡以及置信度界定的示范性推理文本
构建对抗性示例和红队提示，以暴露模型剩余的认知弱点
参与定义和扩展旨在寻求真相行为的宪法原则

任职要求

在高严谨性领域有已发表的学术成果或受过相关学术训练
在预测（如Metaculus, Good Judgment）、严谨分析或公开纠错方面有良好记录
在以下至少三个领域有深厚知识：科学哲学、认知心理学、统计学、逻辑学、语言学、历史学、经济学或相关学科
能够公正地理解对立观点，并区分既定知识与推测
习惯依赖一手资料和基础概率
具备情报分析、调查性新闻或学术同行评审经验者优先

福利待遇

时薪为总薪酬方案的一部分
具体福利因国家/地区而异，根据居住地可能享有医疗福利