测试工程师
岗位摘要
负责智能体产品从模型层到产品层的全链路质量保障，设计并落地评测与测试方案；构建LLM/Agent评测体系，包括评测集构建、判定标准设计（LLM-as-a-Judge或规则+人工）、工具调用与多轮上下文的量化验证
岗位职责
- 负责智能体产品从模型层到产品层的全链路质量保障，设计并落地评测与测试方案
- 构建LLM/Agent评测体系，包括评测集构建、判定标准设计（LLM-as-a-Judge或规则+人工）、工具调用与多轮上下文的量化验证
- 自研自动化测试框架与配套工具（Mock服务、数据构造、评测平台等），打通CI/CD质量门禁
- 负责性能压测与异常容错测试，能读日志、看链路，将问题定位到模块级
- 面向B端客户交付场景，对接客户交付与售后反馈链路，保障结果可控、过程可追溯、失败可兜底
任职要求
- Python/Java/Go至少一门达到工程化水平，具备测试工具自研能力，能独立设计开发自动化测试框架，并根据流程瓶颈自主构建Mock服务、数据构造、评测平台等配套工具
- 接口/UI/CLI自动化至少掌握两类，熟悉CI/CD
- 有LLM/Agent评测方法论：评测集构建、判定标准设计（LLM-as-a-Judge或规则+人工）、工具调用与多轮上下文的量化验证
- 熟悉性能压测与异常容错测试，能读日志、看链路，定位到模块级
- 测试视角完整：既能对模型层能力（对话、工具调用、多轮上下文、任务链路）设计评测，也能承接产品层常规功能测试（交互逻辑、权限、数据一致性、异常边界、兼容性），不偏科于模型侧
- 拥有2年以上测试开发/质量保障经验，在具备成熟质量体系的团队中完整参与过全流程实践，能清晰阐述流程规范、用例管理、缺陷闭环、发布准入各环节的作用机制，并具备依据团队规模与节奏进行裁剪取舍的判断力
- 具备体系化的质量保障方法论，能明确质量门禁的设置依据、自动化的投入边界，以及资源受限条件下的优先级判定逻辑
- 对AI时代的质量保障具备独立认知与实践：在输出非确定性场景下定义验收标准、评测集的构建与迭代机制、模型版本升级的回归策略、自动判定与人工标注的配比设计
- 了解不同企业级AI产品的形态与特点（Agent、RAG、智能客服、流程自动化等）及其典型落地场景，理解B端客户对AI产品的核心质量诉求——结果可控、过程可追溯、失败可兜底，并能据此判断测试重点的优先级
- 加分项：能独立搭建或改造CI/CD流水线（Jenkins/GitLab CI），具备质量门禁设计经验
加分项
- 能独立搭建或改造 CI/CD 流水线（Jenkins/GitLab CI），具备质量门禁设计经验