让 iPhone 17 Pro 也能本地跑大模型

PrismML 近日正式发布 Bonsai 27B 模型，该模型基于 Qwen 3.6 27B 微调而成，核心卖点是在仅配备 12GB 内存的 iPhone 上即可原生运行，同时保留约 90% 的原始智能水平。这一组合意味着开发者无需依赖云端算力，就能在消费级手机上完成多步推理与长上下文处理。

母体 Qwen 3.6 27B 本就定位于本地 AI 能力升级，重点覆盖结构化工具调用、多步骤推理、长上下文工作流以及连续的智能体循环。然而其体积对终端设备并不友好：16-bit 精度需 54GB，即便压缩到 4-bit 也仍占用 18GB，远超主流手机甚至多数笔记本的内存上限。

为打破这一瓶颈，PrismML 采用极低比特量化，推出两个 Bonsai 27B 版本。Ternary（3-bit）版体积为 5.9GB，每权重约 1.71 有效比特，面向笔记本级别的质量需求；1-bit 版进一步压缩到 3.9GB，每权重仅 1.125 有效比特，专门针对手机端存储和内存限制做了优化。

业界对此次发布的评价相当高。开源本地 AI 客户端 AnythingLLM 创始人 Tim Carambat 认为，Bonsai 27B 的意义远超过 Fable、Mythos 或 GPT 5.6 等模型，甚至超过它们加在一起的影响，是 AI 真正意义上的 DeepSeek 时刻，意味着高质量大模型首次具备在端侧大规模落地的条件。

从产业角度看，Bonsai 27B 的出现重新定义了手机本地 AI 的可行性边界。若 12GB 设备即可运行接近旗舰模型能力的 27B 参数版本，开发者将能围绕隐私、低延迟与离线场景构建新型应用，端云协同的格局也可能随之调整。

随着苹果对 PrismML 压缩技术表达关注，未来 iPhone 17 Pro 等机型或将成为本地大模型的重要载体，端侧 AI 的竞争重心也将从云端参数规模转向低比特量化与端侧推理效率。

要点

• Bonsai 27B 基于 Qwen 3.6 27B 微调，可在 12GB 内存 iPhone 上原生运行，并保留约 90% 的原始能力。
• 原版 Qwen 3.6 27B 在 16-bit 下需 54GB、4-bit 下仍需 18GB，普通终端难以承载。
• 3-bit Ternary 版本压缩至 5.9GB，面向笔记本级质量；1-bit 版本压缩至 3.9GB，面向手机级占用。
• AnythingLLM 创始人 Tim Carambat 将其称为 AI 的真正 DeepSeek 时刻。
• 端侧大模型正式具备可用条件，可能改变端云协同的 AI 应用格局。