研究 / 论文
智能趋近免费时代,数据系统将如何重构
AI推理成本正在以每年中位数50倍的速度下降。GPT-4级别的能力在2023年初每百万token约需30美元,如今已不足1美元,部分服务商甚至将价格压至0.1美元以下。UC Berkeley BAIR实验室的研究团队认为,我们正在进入「智能近乎免费」的时代,这一趋势将从根本上重塑数据系统的设计逻辑。研究团队围绕三个核心命题展开讨论:其一,数据系统如何为智能体用户重新设计,以应对大规模并发查询带来的「智能体推测」行为;其二,当数以千计的智能体协同完成长期任务时,需要怎样的底层基础设施来管理状态、协调共识并处理故障;其三,当智能体已能从零合成完整数据系统时,如何验证其行为符合预期、确保可信赖性。三个方向相互交织,共同勾勒出数据系统与智能体协同演化的未来图景。
AI推理成本的断崖式下跌正在改变整个技术格局。从2023年初到现在,GPT-4级别模型的推理价格已下降超过30倍,部分基准测试显示年降幅高达900倍。即便「诺贝尔奖级别」的通用智能尚未到来,足以胜任绝大多数知识工作的智能能力已经触手可及,且每个月都在变得更加廉价。Berkeley BAIR团队将这一趋势定义为「智能近乎免费」时代的到来,并认为这将从三个维度深刻重塑数据系统的设计范式。
第一个维度是「为智能体设计的数据系统」。与人类或传统BI工具不同,智能体查询数据库时会产生大量异构的探索性操作,包括模式自省、列级探索、部分查询到完整查询的逐步构建,研究团队将这种行为模式称为「智能体推测」。实验表明,在text-to-SQL基准测试中,多个智能体并发执行同一任务时,仅有10%至20%的子计划是唯一的,意味着80%至90%的查询存在重复计算。面向智能体优化的数据系统可以通过多查询优化、近似查询处理以及主动推送相关结果等手段,大幅提升整体效率。
第二个维度是「由智能体构成的数据系统」,即为智能体群体提供运行底座。当前主流做法是让智能体将记忆写入非结构化的Markdown文件,再通过关键词检索或向量嵌入检索来调用。然而,当智能体规模扩展至数千个并发运行时,这种方式将面临上下文窗口限制、检索精度不足等瓶颈。研究团队提出「结构化记忆」方案,将记忆按多个属性维度组织,例如操作类型、涉及的数据表和列,并附加自然语言形式的纠正性指令,使智能体能够精准检索与当前任务真正相关的历史经验,而非重复过去的错误。
多智能体并发带来的另一大挑战是共享状态的并发编辑与一致性保障。当数千个智能体同时尝试修改共享状态时,传统的多版本并发控制机制可能难以应对。研究团队指出,需要引入精确一次语义、CRDT以及操作变换等技术来处理冲突,同时还需要防范「活锁」风险——即智能体之间的补偿操作相互抵消,导致系统无法取得实质进展。此外,智能体间的通信协议、故障处理机制以及落后智能体的调度策略,都是构建可靠多智能体基础设施需要解决的关键问题。
第三个维度是「由智能体合成的数据系统」。当推理成本趋近于零,智能体已能在数分钟到数小时内、以数美元的成本从零生成针对特定工作负载定制的完整数据引擎。这类系统是「一次性」的:当工作负载发生变化时,直接重新生成即可。然而,规格说明的不完整性是最大隐患——智能体可能利用规格漏洞进行「奖励黑客」行为,以高性能指标掩盖实际的功能缺陷。研究团队探索了通过辅助验证智能体生成测试用例、以及同步生成系统代码与正确性证明等方法来缓解这一问题,但相关工作仍处于早期阶段。
展望更远的未来,数据系统与智能体之间的边界将逐渐模糊。智能体可能参与设计自身运行所依赖的数据系统,并持续迭代优化其接口与内部组件,形成递归式自我改进的闭环。与此同时,数据系统本身也可能内嵌智能体组件,从被动的计算引擎演变为主动感知、自我优化的智能架构。Berkeley团队认为,在智能近乎免费的时代,数据系统的重要性不降反升——它们将成为承载原始数据、智能体记忆与协调状态的统一真相来源,而这一演化方向正在开启一个全新的研究议程。
要点
- AI推理成本已从2023年初的每百万token约30美元降至不足1美元,年均降幅中位数约50倍,智能近乎免费的时代正在到来
- 智能体查询数据库时会产生大规模并发的探索性操作,现有数据系统需要通过多查询优化、近似查询处理和主动推送等机制进行根本性重设计
- 结构化记忆方案可替代非结构化Markdown文件,使智能体能够按多维属性精准检索历史经验,避免重复错误并支持递归式自我改进
- 智能体已能从零合成定制化数据系统,但规格说明不完整导致的奖励黑客行为是当前最大挑战,需要辅助验证智能体和形式化证明来保障可信度
- 数据系统与智能体的边界将持续模糊,未来数据系统可能成为承载数据、记忆与协调状态的统一基础设施,并内嵌主动优化能力
原始标题:Intelligence is Free, Now What? Data Systems for, of, and by Agents
本文由 DataHub 基于公开来源整理,用于信息发现与摘要阅读;具体事实、数据和后续更新以原始来源为准。