软件工程师，评估
岗位摘要
构建大规模评估、追踪处理和可观测性工作流的核心系统，为工程师提供助手与智能体行为的清晰信号；负责运行大规模评估的平台，并支持质量评估集、LLM评判器和智能体可观测性工具的开发；参与评估前沿模型发布和最新开源模型，确保其在影响客户AI体验前得到充分衡量
岗位职责
- 构建大规模评估、追踪处理和可观测性工作流的核心系统，为工程师提供助手与智能体行为的清晰信号
- 负责运行大规模评估的平台，并支持质量评估集、LLM评判器和智能体可观测性工具的开发
- 参与评估前沿模型发布和最新开源模型，确保其在影响客户AI体验前得到充分衡量
- 在分布式系统、数据基础设施、应用AI和产品质量的交叉领域开展工作
- 构建决定新模型、提示词、检索策略和智能体工作流能否发布给企业客户的系统
- 帮助Glean的助手和智能体随时间可靠改进，持续优化测量与质量层
任职要求
- 具备后端或基础设施工程经验，能够构建和维护大规模分布式系统
- 熟悉评估流水线、可观测性、追踪数据处理或LLM驱动评判器等相关技术
- 拥有数据基础设施、应用AI和产品质量方面的知识或实践经验
- 能够为工程师提供清晰的质量信号，并推动模型、提示词、检索策略和智能体工作流的发布决策
- 工作地点在印度班加罗尔，适合希望在后端与基础设施方向发展的工程师