Numan 如何用 LangGraph 和 LangSmith 构建以评估为先的 AI 健康教练

Numan 的 AI 健康教练 Nu 面临一个在普通对话产品中鲜少出现的工程难题：如何在真正帮助患者改善生活方式的同时，绝不越过临床诊断与处方建议的监管红线。英国药品和医疗保健产品监管局（MHRA）明确规定，一旦软件产品具备医疗目的，便须作为医疗器械接受严格监管。Nu 被定位为健康生活方式教练而非临床工具，这一定位需要在每次迭代中都得到验证，而不能仅凭人工判断。

团队最初采用业界通行的评估方式：准备一批固定输入与预期输出，由 LLM 裁判对每条回复打分并取平均值。这套方法在问答类智能体上表现尚可，但在教练场景中暴露出两个根本性缺陷。其一，单轮静态测试将安全性判断从对话上下文中剥离，而 Nu 是否给出安全回复往往取决于整段对话的走向，而非单条消息本身。其二，少数低质量回复在平均分中几乎不可见，导致整体指标看似健康，实则掩盖了局部失效。

预设脚本式的多轮测试同样行不通。当患者的第二轮回复在测试开始前就已写定，评估便完全忽略了 Nu 在第一轮实际说了什么。一旦 Nu 的回复偏离脚本预期，后续所有轮次都在回应一段从未真实发生过的对话，测试结果因此失去意义。这两种失效模式促使团队从根本上重新设计评估体系，而不是在原有框架上打补丁。

新的评估框架围绕两个核心原则展开。第一，所有评估直接运行在患者实际使用的同一套 LangGraph 图结构上，而非独立搭建的测试环境，确保测试对象与生产对象完全一致。第二，评估数据集按主题分类，涵盖教练质量、安全性、药物咨询、路由准确性和对话摘要等维度，每个类别由 LLM 裁判独立评分。这样一来，某一类别的集中失效不会被其他类别的良好表现所掩盖，问题定位更加精准。

安全机制被直接嵌入图结构而非作为外部层附加。每条即将发送给患者的回复都会经过安全守卫节点的审查，对照一组固定的临床安全规则进行核验。若回复被判定为不安全，则退回给监督模型重新生成；若多次生成仍不达标，则以预设的安全兜底回复替代，确保患者永远不会收到越界内容。此外，健康教练每天对真实对话样本进行人工复核，持续校准安全判断的边界，形成人机协同的质量闭环。

目前处于原型阶段的最新评估层引入了模拟对话机制，以取代预设脚本。系统向评估框架提供患者画像、场景描述以及 Nu 应当识别的核心问题，由一个独立的模拟患者模型根据 Nu 的实际回复动态生成下一轮输入，使对话能够真实展开而非沿着固定轨道推进。这一机制让评估更接近真实的教练互动，也为发现边缘案例提供了更大的探索空间。

要点

• 评估标准的质量往往比智能体本身更能决定产品最终表现，单轮静态测试在对话式场景中存在系统性盲区。
• 将安全守卫节点嵌入图结构而非作为外部层附加，可确保安全机制与评估体系共享同一测试表面，避免生产与测试环境漂移。
• 按类别独立评分而非取全局平均值，能够有效防止局部失效被整体良好指标所掩盖，提升问题定位效率。
• 基于患者画像的模拟对话评估比预设脚本更能反映真实交互，是对话式 AI 产品质量保障的重要演进方向。
• 在受监管的医疗健康领域，每次迭代都需要通过自动化安全门控验证产品边界，人工复核与自动评估缺一不可。