Poolside AI 如何用118B参数模型击败近万亿参数对手

Poolside AI 联合CEO Eiso Kant 在近期播客中详细介绍了其模型工厂的运作哲学。这个由不到70名研究人员组成的团队，每月能够执行1万到2万次实验，通过流式数据直接注入训练管道、不可变数据版本控制与低精度计算，实现了从预训练到模型发布仅需八周的高效迭代。Eiso 强调，模型构建90%是工程问题，而他们的系统设计使得研究人员可以在30分钟内评估一个新检查点的性能。

最新发布的 Laguna S 2.1 模型是这一工厂能力的直接体现。该模型总参数118B，采用混合专家架构，每token仅激活8B参数，支持高达100万token的上下文窗口，并提供思考与非思考两种模式。在多项基准测试中，它击败了 Thinking Machines 近万亿参数的开源模型，证明了小模型通过精心设计的数据与训练策略，能够实现远超其规模的性能。Eiso 认为，持久性、验证与回溯能力比原始智能更重要。

Eiso 对当前AI领域的工具调用方式提出了尖锐批评。他认为MCP（模型上下文协议）和传统工具调用是“愚蠢的”，因为未来智能体应该直接编写脚本，而不是从数十个预定义工具中选择。Poolside 正在推动模型与“马具”（harness）的协同设计，即让模型在容器化环境中自由编写代码、启动任务、评估结果并修改训练管道，从而实现更自主的迭代。

在更宏观的视角上，Eiso 预测强化学习将更早地融入预训练阶段，而不仅仅是作为后训练步骤。他认为当前的下一个token预测范式仍然未能从网络中提取足够的知识，而蒸馏与环境（environments）已成为行业最受欢迎的“药物”。他还指出，模型构建中95%的改进可以归结为更好的数据或计算效率，而最终训练运行本身往往是最不激动人心的部分。

Poolside 的融资故事也颇具启示。尽管投资者曾质疑AGI是否真实存在，Poolside 仍成功筹集了5亿美元。Eiso 认为，智能可能成为全球最受需求且最终被商品化的资源。他警告，如果监管不当，可能会意外锁定两三家公司的寡头垄断，而单方面的AI安全措施在全球化竞争环境中是无效的。他宁愿生活在一个有100家基础模型公司的世界，即使Poolside只是其中之一。

对于团队建设，Eiso 强调“高能动性”（high agency）是AI时代员工最重要的品质。领导者应通过共享目标和清晰约束来协调高能动性人才。Poolside 故意将全球研究组织设在湾区人才战之外，以吸引那些愿意离开实验室、成为竞争对手的顶尖研究者。目前，他们正在招聘研究、后训练、预训练、架构、评估与工程等多个岗位。

要点

• Poolside 的模型工厂以不到70人团队，每月执行1-2万次实验，实现八周内从预训练到模型发布。
• Laguna S 2.1 以118B总参数（8B激活）击败 Thinking Machines 近万亿参数开源模型，证明小模型潜力。
• Eiso 批评MCP与传统工具调用，主张未来智能体应直接编写脚本，推动模型与马具协同设计。
• 强化学习将更早融入预训练，下一个token预测仍未能充分提取网络知识。
• 高能动性是AI时代员工关键品质，Poolside 故意避开湾区人才战以构建全球研究团队。