AI资讯 / Agent

Agent / 工程

Jev 是什么?TypeSafe AI 的 System One 模型完全解析

LangChain

在 AI 智能体的运行循环中,每一次决策都需要调用一次大语言模型,这带来了显著的延迟与成本压力。TypeSafe AI 推出的 Jev 模型试图打破这一瓶颈。Jev 被定义为 System One 模型——一类专为快速、结构化决策而生的 AI 模型,不生成文本,而是对给定状态进行评估并返回带概率的类型化答案。官方数据显示,在分类任务上,Jev 的推理速度最高可达同类大语言模型的 200 倍,成本仅为后者的四百分之一。Jev 支持三种问题类型:Choice(多选)、Score(评分)和 Noul(是否判断),并可在单次请求中并行处理多个问题。通过 LangChain 的 TypeSafeClassifier 集成,开发者可以将 Jev 嵌入智能体节点或中间件,用于模型路由、危险操作拦截等场景,与大语言模型形成互补。

智能体的核心运行模式是一个循环:大语言模型决定下一步行动,工具执行,模型评估结果,再进入下一轮。工具调用和结构化输出两项能力的出现,让模型与软件系统的集成变得更加顺畅。然而,循环中每一次决策仍需完整的模型调用,延迟与成本问题始终存在。TypeSafe AI 推出的 Jev,正是为了解决这一痛点而生。

Jev 并非传统意义上的大语言模型,它不生成文本。TypeSafe AI 将其定义为 System One 模型:接收一个状态(即上下文)和若干关于该状态的问题,返回带概率的类型化答案。其训练方式采用强化学习校准决策(RLCD),目标是输出可被软件直接使用的结构化判断,而非自然语言回复。

Jev 支持三种问题类型。Choice 类型从预设选项中选择,并返回每个选项的概率及整体置信度;Score 类型对输入按层级(如低、中、高)打分,返回连续分值与分布;Noul 类型回答是否问题,返回某陈述为真的概率。更关键的是,同一请求中的多个问题可并行处理,额外问题几乎不增加响应时间,仅消耗少量额外 token。

在与 LangChain 的集成上,Jev 通过 TypeSafeClassifier 暴露接口。开发者只需传入状态和问题,即可获得分类结果而非对话回复。状态可以是纯文本、结构化数据或 LangChain 消息对象,这使得在智能体节点或中间件中调用 Jev 十分自然,无需改变现有的上下文管理方式。

Jev 在智能体架构中有两个典型应用场景。其一是模型路由:通过 ModelRouterMiddleware,Jev 可根据请求复杂度自动选择轻量或强力模型,简单查询走低成本模型,复杂推理走高能力模型。其二是自动安全拦截:AutoModeMiddleware 利用 Jev 在工具调用执行前检测潜在风险操作并予以阻断,将此前封闭在商业编程助手内部的分类能力开放给所有智能体开发者。

Jev 并非大语言模型的替代品,而是其高效补充。在需要开放式推理和文本生成的场景,大语言模型仍不可或缺;而在分类、路由、风险判断等结构化决策环节,Jev 以极低的延迟和成本提供了更合适的解决方案。目前已有开发者将其用于浏览器自动化、实时交易和邮件分类等场景,展示出这一新模型类别的广泛应用潜力。

要点

  • Jev 是 TypeSafe AI 推出的 System One 模型,专为结构化决策设计,不生成文本,在分类任务上速度最高提升 200 倍、成本降低 400 倍。
  • Jev 支持 Choice、Score、Noul 三种问题类型,同一请求中多个问题并行处理,额外问题几乎不增加响应时间。
  • 通过 LangChain 的 TypeSafeClassifier,开发者可将 Jev 嵌入智能体节点或中间件,状态支持文本、结构化数据和 LangChain 消息对象。
  • Jev 可用于模型路由中间件,根据任务复杂度自动选择合适模型,兼顾成本与能力。
  • AutoModeMiddleware 利用 Jev 在工具调用执行前拦截危险操作,将安全分类能力开放给所有智能体开发者。
查看原始来源

原始标题:What Is Jev? A Guide to TypeSafe AI’s System One Model

本文由 DataHub 基于公开来源整理,用于信息发现与摘要阅读;具体事实、数据和后续更新以原始来源为准。