AI评测专家
岗位摘要
持续跟踪国内外主流AI模型（LLM/多模态/端侧模型/语音模型）与Agent Harness框架（DeepSeek Harness/Claude Code/OpenCode等）的最新进展，建立“模型能力×Harness架构”对手机OS体验影响的分析框架，定期输出技术趋势→体验影响报告
岗位职责
- 持续跟踪国内外主流AI模型（LLM/多模态/端侧模型/语音模型）与Agent Harness框架（DeepSeek Harness/Claude Code/OpenCode等）的最新进展，建立“模型能力×Harness架构”对手机OS体验影响的分析框架，定期输出技术趋势→体验影响报告
- 模型维度：将模型能力拆解为用户可感知的体验维度（对话理解深度、记忆连贯性、多轮推理准确性、多模态识别精度、端侧推理速度），设计面向用户感知而非学术benchmark的评估方法
- Harness维度：深入理解Agent Harness框架的核心机制——工具调用策略、ReAct循环、上下文管理、记忆加载策略、多Agent路由与编排、端云分流决策——评估这些设计选择对用户实际体验的影响
- 负责AI业务的体验指标设计——将“模型准确率”“推理延迟”“工具调用成功率”“ReAct循环轮次”等技术指标映射为“用户任务完成率”“交互顺畅度感知”“等待容忍度”等体验指标，确保模型选型和Harness配置决策有用户体验数据支撑
- 主导AI业务A/B测试中“模型+Harness”组合变量的体验评估——不同模型版本、不同prompt策略、不同记忆加载策略、不同工具路由规则对用户实际体验的定量影响
- 协同测试开发团队，构建“模型+Harness”联合效果的自动化评测平台和体验回归基线，确保每次模型更新或Harness配置变更都有可对比的体验数据
- 参与竞品AI体验深度分析——从用户场景出发，解构竞品在模型选型、Harness架构（工具策略/上下文管理/端云分工/多Agent协作）方面的设计差异，输出“用户感知到什么、我们差在哪、需要什么能力”的分析
任职要求
- 计算机、人工智能、软件工程等相关专业本科及以上学历，3年以上AI产品测试、AI产品经理或Agent框架相关经验
- 对当前主流AI模型生态有系统认知——云端模型（GPT/Claude/Gemini/DeepSeek等）的能力边界和迭代趋势，端侧模型（TinyLlama/Phi/Gemma等）的部署约束和性能特征，多模态模型（视觉/语音）在手机场景的适用性
- 理解Agent Harness框架的核心架构——工具调用（Function Calling/Tool Use）机制、ReAct（Reasoning→Action→Observation）循环设计、上下文窗口管理与记忆注入策略、多Agent协作与路由模式，了解至少一个主流Harness框架（如DeepSeek Harness/Claude Code/LangChain等）的实际运作方式
- 具备“从模型+Harness设计到用户体验”的翻译能力：看到Harness的工具调用策略变化，能判断对用户实际体验的影响
- 扎实的数据分析能力：熟练使用Python进行数据处理和可视化，能从埋点数据、A/B测试数据中提取体验结论
- 有用户研究方法论基础，理解NPS/满意度/任务完成率等体验指标的采集和分析方法
- 优先考虑：有AI手机/智能助手产品测试或产品经验、有prompt engineering或Harness配置调优实际经验、参与过Agent框架的设计或开源贡献、在AI模型评测（如LMSYS Chatbot Arena、SWE-bench等）有实际经验