AI模型与Harness测试工程师
岗位摘要
持续跟踪国内外主流AI模型（LLM/多模态/端侧模型/语音模型）与Agent Harness框架的最新进展，建立“模型能力×Harness架构”对手机OS体验影响的分析框架，定期输出技术趋势与体验影响报告
岗位职责
- 持续跟踪国内外主流AI模型（LLM/多模态/端侧模型/语音模型）与Agent Harness框架的最新进展，建立“模型能力×Harness架构”对手机OS体验影响的分析框架，定期输出技术趋势与体验影响报告
- 将模型能力拆解为用户可感知的体验维度（对话理解深度、记忆连贯性、多轮推理准确性、多模态识别精度、端侧推理速度），设计面向用户感知的评估方法
- 深入理解Agent Harness框架的核心机制，包括工具调用策略、ReAct循环、上下文管理、记忆加载策略、多Agent路由与编排、端云分流决策，评估这些设计选择对用户实际体验的影响
- 负责AI业务的体验指标设计，将技术指标映射为用户任务完成率、交互顺畅度感知、等待容忍度等体验指标，确保模型选型和Harness配置决策有用户体验数据支撑
- 主导AI业务A/B测试中“模型+Harness”组合变量的体验评估，量化不同模型版本、prompt策略、记忆加载策略、工具路由规则对用户实际体验的影响
- 协同测试开发团队，构建“模型+Harness”联合效果的自动化评测平台和体验回归基线，确保每次模型更新或Harness配置变更都有可对比的体验数据
- 参与竞品AI体验深度分析，从用户场景出发，解构竞品在模型选型、Harness架构方面的设计差异，输出用户感知、差距和能力需求的分析
任职要求
- 计算机、人工智能、软件工程等相关专业本科及以上学历，3年以上AI产品测试、AI产品经理或Agent框架相关经验
- 对当前主流AI模型生态有系统认知，包括云端模型（GPT/Claude/Gemini/DeepSeek等）的能力边界和迭代趋势，端侧模型（TinyLlama/Phi/Gemma等）的部署约束和性能特征，多模态模型在手机场景的适用性
- 理解Agent Harness框架的核心架构，包括工具调用机制、ReAct循环设计、上下文窗口管理与记忆注入策略、多Agent协作与路由模式，了解至少一个主流Harness框架的实际运作方式
- 具备从模型与Harness设计到用户体验的翻译能力，能判断Harness策略变化对用户实际体验的影响
- 扎实的数据分析能力，熟练使用Python进行数据处理和可视化，能从埋点数据、A/B测试数据中提取体验结论
- 有用户研究方法论基础，理解NPS/满意度/任务完成率等体验指标的采集和分析方法
- 优先考虑：有AI手机/智能助手产品测试或产品经验、有prompt engineering或Harness配置调优实际经验、参与过Agent框架的设计或开源贡献、在AI模型评测有实际经验