安全防护执行分析师,网络危害
岗位摘要
审查被标记的内容和账户,根据我们的使用政策做出准确、记录详尽的执法决定;检测并减轻AI系统可能被滥用于促进网络攻击、恶意软件创建、利用工具及相关有害网络操作的行为;对新颖、模糊或高严重性案件进行分诊,并升级给相应的利益相关者
岗位职责
- 审查被标记的内容和账户,根据我们的使用政策做出准确、记录详尽的执法决定
- 检测并减轻AI系统可能被滥用于促进网络攻击、恶意软件创建、利用工具及相关有害网络操作的行为
- 对新颖、模糊或高严重性案件进行分诊,并升级给相应的利益相关者
- 针对通过实际执法场景暴露的政策漏洞,向安全防护政策设计团队提供详细反馈
- 与工程和数据科学团队合作,通过从审查中揭示检测模型错误和质量信号,以提高精确率和召回率
- 在审查队列中保持高准确性和一致性标准
- 及时了解新兴的AI政策执行最佳实践、威胁行为者策略和不断演变的网络威胁态势,并利用这些信息指导执法决策
任职要求
- 具备网络安全经验,包括攻击技术、漏洞利用开发、恶意软件分析或漏洞研究方面的知识
- 具备大规模内容审查、滥用调查或政策执行的经验
- 熟练掌握SQL和/或Python进行数据分析和威胁检测
- 具备识别新兴风险并向产品、政策、工程和法律等多元化利益相关者传达发现的经验
- 具备使用生成式AI产品的经验,包括为内容审查和执法编写有效的提示
- 在科技或AI公司拥有信任与安全、滥用调查、网络安全调查或威胁情报方面的经验
- 具有大型语言模型经验,并了解AI技术如何被滥用于网络操作
- 具备在滥用监控项目或执法审查系统中操作的经验
- 了解大规模实施产品政策的挑战,包括在内容审核领域
- 具备与政府机构、受监管环境或信息共享社区合作的经验