Agent / 工程
用 Jev 决策模型与 LangGraph 构建生产级 AI 智能体
TypeSafe AI 近期发布了一种名为 Jev 的新型模型。与传统大语言模型不同,Jev 不生成文本,而是直接输出代码可操作的结构化决策,TypeSafe 将这种范式称为「AI 驱动的软件」——代码掌控工作流,AI 只负责狭窄而结构化的判断。在路由、分类等典型决策任务上,Jev 的速度最高可达主流大模型的 200 倍,成本仅为后者的四百分之一。LangChain 将 LangGraph 定位为与 Jev 互补的编排层:LangGraph 通过节点、状态与边的组合管理上下文,并提供持久化执行、人工介入和全链路可观测性,使决策结果可被检验和追溯。两者结合,开发者可以在保持代码结构清晰的前提下,将语义判断能力以极低成本嵌入生产系统,实现 TypeSafe 所倡导的「构建生产系统,而非全能神明」的工程哲学。
TypeSafe AI 上周正式发布 Jev,这是一种被称为「系统一模型」或决策模型的新型 AI 组件。Jev 的核心能力是判断,而非生成:给定一段状态描述和一组问题,它会返回带有概率的类型化答案,供下游代码直接分支处理。TypeSafe 将自己的工程哲学概括为「构建生产系统,而非全能神明」——随着前沿大模型能力不断增强,开发者倾向于将其用于一切模糊任务,但通用性的代价是高昂的延迟与费用,即便只需要一个是或否的答案也不例外。
在性能层面,TypeSafe 的基准测试显示,Jev 在路由和分类等窄决策任务上,速度最高可达主流大模型的 200 倍,成本仅为后者的四百分之一。更值得关注的是其一致性:在一项以 Jev 作为评判者的早期实验中,连续 100 次重复评估的得分几乎没有波动,远低于任何被测试的大模型评判者。这种确定性对生产系统至关重要,因为相同输入应当产生可预期的输出,而非随机漂移。
LangGraph 是 LangChain 针对智能体编排问题给出的答案,目前每月下载量超过 6000 万次,被众多财富 50 强企业采用。一个 LangGraph 应用由三个核心要素构成:节点(普通代码、模型调用或子图)、状态(节点读写的信息)以及边(决定下一个节点的固定或动态路径)。随着图的运行,每一步的结果累积在状态中,成为后续步骤的上下文,同时决定哪些节点将被激活。这种设计将领域知识编码进图的拓扑结构,而非堆砌在提示词里。
LangGraph 的运行时专为模型驱动系统的不确定性而设计。检查点机制在每一步持久化状态,确保失败的运行可以从已完成的决策处恢复,而非从头重跑——后者可能走向完全不同的执行路径。人工介入机制允许在关键步骤暂停、审核并继续执行。LangSmith 则提供全链路追踪,让每一个决策的输入、输出和原因都可被检查。这些保障对 Jev 同样适用,因为 Jev 同样接收非结构化文本并返回判断结果。
诉讼文件审查是两者结合的典型应用场景。在诉讼发现阶段,企业往往需要逐页审查数十万份文件,而每一页的判断本质上是同一类有边界的决策反复执行。Jev 可以并行回答每页文件的多个结构化问题,LangGraph 则负责编排整个审查流程、管理状态流转并在需要人工复核时触发中断。这种架构将原本依赖大模型的高成本流程,转化为可大规模、低成本运行的生产系统。
Jev 与 LangGraph 的组合体现了一种务实的 AI 工程路径:代码保持对工作流的控制权,模型只在真正需要语义判断的分支点介入,且以尽可能低的成本完成这一职责。这与 TypeSafe 所倡导的「AI 驱动的软件」理念高度契合——不是用一个全能模型替代所有逻辑,而是将智能作为一种廉价的基础原语,嵌入到可审计、可测试、可扩展的软件系统之中。
要点
- Jev 是专为结构化决策设计的模型,在路由和分类任务上比主流大模型快 200 倍、便宜 400 倍,且具备高度一致性。
- LangGraph 通过节点、状态与边的图结构管理上下文,并提供检查点、人工介入和可观测性,为模型驱动系统提供生产级可靠性保障。
- 两者结合实现了「代码控制流程、AI 处理判断」的架构范式,将语义决策能力以极低成本嵌入生产系统。
- 诉讼文件审查等需要大规模重复判断的场景,是这一架构的典型落地方向。
- TypeSafe 的「构建生产系统,而非全能神明」哲学提示开发者:通用大模型并非所有 AI 任务的最优解,窄决策模型在特定场景下具有显著优势。
原始标题:Building Production Agents with Jev and LangGraph
本文由 DataHub 基于公开来源整理,用于信息发现与摘要阅读;具体事实、数据和后续更新以原始来源为准。