两年内把GPT-6的智能装进手机！我们已经抵达端侧智能的「撞线前夜」

编辑｜冷猫

上世纪 40 年代，计算机还是占据一整个房间的庞然大物。它们体积庞大、造价高昂，只有少数科研机构和大型组织能够使用。那时，计算是一种昂贵而稀缺的资源。

但直到今天，仅仅是普通人手里的 iPhone，单位体积里的计算能力都已提高了数十亿倍。那时的人不会想到，全世界大部分的计算都在每个人的桌上和口袋里完成。

历史是个圈，智能的发展也一样。

从 GPT 掀起大模型浪潮开始，能够被用户感知的「智能」就集中在少数科技巨头的数据中心里，运行在云端。而大模型诞生伊始的我们，也没有料到仅仅数年后，一个超越了 GPT-4V 级别智能的模型，能够流畅运行在手机上

端侧智能的多次降临。横轴是时间，纵轴是参数量。颜色代表模型表现，红色表示性能较强，蓝色表示较弱。

近期，面壁智能联合 OpenBMB 社区开源了 MiniCPM-V 4.7。其中的 35B-A3B 版本，是一个350 亿参数的 MoE 多模态模型，在手机上只占约 3GB 内存，在最新的 iPhone 18 Pro Max 上速度已经超过每秒 30 个 token

让我们来看看，一个打开了飞行模式的 iPad，运行 MiniCPM-V 4.7-35B-A3B 端侧模型，执行多模态任务的实机录屏表现。

视频链接：https://mp.weixin.qq.com/s/jK44J32EhAJwjc0S7ia0uw

作为完全本机运行的 35B 参数模型，表现真的很惊艳。回答准确的同时，输出速度依旧可观，保持在一个体感流畅，但也不至于让人眼花缭乱的速度。多模态能力也很强劲，对手写的数学解题也能够准确识别。

MiniCPM 真的从当年的「小钢炮」进化成了端侧运行的能力全面的性能猛兽。

「从 2024 年开始，我们就说要做端侧智能，当时它还是一个远景。到了今天，这个远景已经变成了近景。」面壁智能联合创始人、首席科学家刘知远说。

这款模型背后，是面壁智能多模态大模型实验室。实验室由面壁智能联席首席科学家、清华大学人工智能学院助理教授姚远领衔。

在 MiniCPM-V 4.7 到来后，姚远认为，我们已经来到了「端侧智能的撞线前夜」，而端侧智能的未来，会更加不可思议。

「2 年内 GPT-6 （级别的智能）到手机上，我们觉得是没什么问题的」。

端侧智能的「三驾马车」：

模型、硬件与 Infra

MiniCPM-V 4.7 35B-A3B 是全球首个可在端侧无损、流畅运行的开源 MoE 多模态大模型。而 1B 版本则延续 MiniCPM-V 4.6 的路线，主打入门级设备和端侧智能普惠。

前者负责摸高。在官方公布的 34 项基准测评中，35B-A3B 在通用视觉、数学推理、OCR 与图表理解、长视频等任务上领先 Qwen3.6-35B-A3B，也超过了 Qwen 27B 和 Gemma-4 31B。这一代模型的智能水平，「超过 2023 年的云端旗舰 GPT-4V，应该是大家都能认同的」。

后者负责铺开。1B 版本在 OCR、图表推理和多图理解上占优于 Qwen3.5-0.8B，以及更大一些的 LFM2.5-VL 1.6B 和 Gemma-4 ，千元级手机也能流畅运行。

对于内存、算力和功耗都受到严格限制的端侧设备来说，模型有多强固然重要，但更关键的是，能用多小的代价获得多强的智能，也就是更高的「能力密度」。MiniCPM-V 4.7 的两个版本，都在各自的参数规模上推动了多模态模型的「性能 — 效率帕累托前沿」

MiniCPM-V 4.7 的优异表现，也让我们得以重新审视端侧智能的进步的驱动力。端侧智能的发展离不开三个关键因素：模型、硬件和基础设施（Infra），是推动端侧智能发展的「三驾马车」。

模型：把智能密度逼向物理极限

模型这一侧，面壁智能的主线始终是智能密度。

端侧对密度的要求格外苛刻。人脑的功耗约 20 瓦，一台 8 卡 AI 服务器满载要超过 1 万瓦，手机日常只有几瓦的预算，跑一个 20 瓦的程序，用不了多久就会发烫掉电。「自然早已证明，智能可以极其高效。」

所以，对于一个端侧多模态大模型而言，最重要的是「看、想、学」，用更少的计算看清世界，用更少的步骤想清问题，用更低的成本学会新本事。

「看」是最贵的一环。MiniCPM-V 系列的视觉压缩也一代比一代来得早。3D-Resampler 把连续 6 帧视频一起压缩，只用 64 个 token，压缩率达到 96 倍；这一代沿用的 LLaVA-UHD v4，把压缩提前到视觉编码器内部，编码计算量减少 55.8%，并支持 4 倍和 16 倍两档压缩率按需切换。

「想」靠后训练。从人工逐句纠错的 RLHF-V，到让开源模型逐条核对的 RLAIF-V，再到用模型自身置信度作为奖励、不需要判卷器的 RLPR，奖励越来越便宜，模型也能用更短的推理时间答对更难的题。「奖励能走多远，推理就能走多远。」

「学」解决的是遗忘。微调前先让模型回答一批通用问题，把高质量回答混进新任务数据一起训练，新任务能学会，旧能力也不丢，在 4 个开源模型上遗忘减少了 80% 到 99%。

硬件：出厂即定的预算

面壁团队定位清晰，模型和 Infra 坚持自研，芯片交给合作伙伴。 硬件决定了端侧智能的算力预算，也决定了模型和 Infra 能发挥多大作用。

云端的算力、内存和带宽可以按需扩容，而端侧设备一旦出厂，资源就基本固定了。眼下，存储芯片价格持续上涨，在部分手机的物料成本中已占到三到五成，12GB 内存也逐渐成为 AI 手机的及格线。内存越贵，如何用更少的资源运行更强的模型，就越有价值。

不过，硬件本身也正在迎来变化。姚远提到，受芯片研发周期影响，2026 年之前，许多手机 NPU 仍主要针对 CNN、RNN 等早期架构优化。而新一代芯片开始原生支持 Transformer 的自注意力计算，有望进一步释放端侧模型的性能。

围绕硬件生态，面壁也在持续扩大合作网络。MiniCPM-V 4.7 发布当天，便完成了对 AMD、Apple、Arm、Intel、NVIDIA、瑞芯微、后摩智能等平台的适配，并通过众智 FlagOS 软件栈支持华为、海光、昆仑芯、摩尔线程、沐曦等国产 AI 芯片。此外，面壁还与高通、联发科技、紫光展锐、爱芯元智等厂商展开了深度协同。

Infra：有多少内存，并不等于有多少智能

这次最受关注的，是第三驾马车。

2024 年，面壁把 8B 模型放上 iPad；2025 年，把 4B 模型放上 iPhone。如果端侧一直跑稠密模型，设备有多少可用内存，就只能装多大的模型、提供多少智能。

「难道有多少内存，就代表有多少智能吗？如果是这样，端侧模型能力的上界就被内存上限堵住了。」而要突破这一上限的方式，正是 Infra 层。Infra 要做的，就是在有限的资源中找到最优分配方式。

MiniCPM-V 4.7 的核心解法叫前瞻专家调度（Lookahead Expert Scheduling，LES）

以 35B-A3B 为例，即便采用较激进的 4 比特量化，模型权重仍有约 15GB，远超手机的可用内存。

但手机还有容量大得多的闪存。MoE 模型的参数分散在不同专家中，每生成一个 token，每层只需激活少数专家。如果把专家权重存放在闪存中，需要时再加载到内存，就能将内存峰值控制在约 3GB。

问题是，如何让数据搬运足够快，不拖慢推理？

一个直观的思路是「提前加载」：在计算第 L 层时，预先读取第 L+1 层需要的专家，让数据读取和计算并行。

但难点在于，下一层需要哪些专家，必须等它的路由计算完成才能确定。 而一层的计算时间只有约 1.25 毫秒，仅够读取大约 8 个专家，远不足以遍历全部 256 个专家。

LES 的思路是提前预测。研究团队发现，得益于 Transformer 的残差结构，相邻层的隐藏状态变化通常较小，专家选择也具有一定的稳定性。利用这一特点，LES 可以在当前层计算时，提前预测下一层需要的专家，并在后台加载对应权重。这相当于让计算和数据搬运同时进行。

更巧妙的是，LES 只改变权重加载的时机，不改变模型实际选择的专家，因此能够在不损失精度的情况下提升速度。

配合权重存储优化、混合精度量化和 DSpark 投机解码，35B-A3B 在发布时已实现 iPhone 17 Pro Max 上超过 13 token/s、iPad Pro M4 上超过 17 token/s 的推理速度，在 iPhone 18 Pro Max 上进一步超过 20 token/s。最新的 LES 2.0 更将速度提升至30 token/s 以上，内存占用仍维持在约 3GB，精度损失几乎可以忽略。

三个飞轮，乘法叠加

当我们问到「未来的端侧模型技术的发展方向」时，姚远认为最重要的，是这三驾马车的协同进化。

三者各有分工，又紧密关联。模型提供智能能力，硬件提供计算资源，而 Infra 负责让两者更好地匹配，让硬件提供的每一分算力都尽可能用在模型真正需要的地方，减少中间环节的损耗。

三驾马车各有各的节奏。硬件的飞轮一直在转，但一代芯片从设计到量产往往需要数年；模型的飞轮则在 2024 年开始加速，智能密度大约每 3.5 个月翻一番；Infra 的飞轮启动得最晚，却转得最快。

更值得关注的是，这三方面的进步能够相互放大。如果模型、硬件和 Infra 各自持续进步，三者的收益以乘积方式叠加，整体可能获得五到六倍以上的增益；如果进一步协同设计，增益还有机会超过七到八倍。

但这并不意味着其中某一环可以取代另一环。当被问到 Infra 是否已经比模型更重要时，姚远强调，模型始终决定了智能能力的边界。「它做不到就是做不到，你把它快一万倍，输出也是 0。」

反过来，如果模型已经具备某项能力，却因为运行太慢而无法使用，那么 Infra 的价值就会变得非常突出。模型的架构和计算方式发生变化，Infra 也需要随之调整。

端侧智能的竞争，越来越接近一场全栈系统工程。单靠某一代模型的领先，或某一项推理优化，很难建立长期优势。真正的挑战是理解模型、硬件和应用的发展方向，再把它们有效地结合起来。

智能体时代的到来，也为端侧软硬协同带来了全新的趋势。

过去，底层算子主要由工程师手工编写，出于开发成本和维护需求，往往需要考虑跨模型、跨芯片的复用性。现在，AI 可以针对某一代模型、某一款芯片自动生成和优化算子，甚至不必过多考虑复用性。

姚远透露，面壁智能内部已经有智能进化实验室在探索这一方向，并且已登顶英伟达、华为官方算子榜。在他看来，AI 自动编写算子有望进一步释放端侧硬件的潜力，也为未来的软硬件协同打开了新的想象空间。

对于三驾马车之间可能出现的瓶颈，姚远并不悲观。在他看来，短期内某一环可能会成为制约，但随着模型、硬件和 Infra 不断相互适应，这些限制也会逐渐被突破，「会在动态的过程中趋于完全贴合，最大地发挥端侧智能的上限。」

端侧智能的「撞线前夜」：

从端云协同到智能平权

端侧智能的未来，可以从用户对智能的需求说起。

用户对于智能需求分成两类。一类几乎没有上限，比如开发软件、设计芯片，智能越强越好，但真正有这类需求的人并不多。另一类则是绝大多数人的日常需求，它有一个相对稳定的上限。

姚远认为，未来 10% 对智能要求极高、没有明确上限的需求留在云端，90% 有上限的日常需求则会逐渐转移到端侧。

而智能供给一侧，端侧模型的能力正在快速提升。从最初的文本续写、信息抽取，到如今的图像和视频理解，再到工具调用，越来越多的日常需求已经能够在本地得到满足。

「用户不需要关心具体如何实现，只要这件事已经能做到，大家自然希望把它留在端侧完成。」

姚远认为，计算技术的发展也遵循着类似的规律。从大型机到个人电脑，再到移动智能时代，每一次计算平台的变迁，背后都有技术供给与用户需求的「撞线」。

「宏观上我们看到的是成功公司的迭代，底层可能是技术供给与需求撞线，自然形成了时代的划分。」

当计算能力还不足以满足某类需求时，相关应用就很难普及；一旦能力跨过门槛，新的应用和产业机会便会随之出现。

今天的端侧智能，就像只有 256KB 内存的 PC 时代，通用智能看起来还很远，但必然会到来。

推动智能平权的到来

35B 上手机之后，一个常被问到的问题是，端侧到底该把模型做小，还是做大。

端侧过去一直强调把模型做小，现在却要在手机上跑更大的模型，路线是不是变了？姚远的回答是，两件事从来不矛盾。把模型做小，是为了在同样的硬件上对标更强的模型；硬件在持续进步，能装进去的旗舰模型自然会越来越大。从最早的 1B、2B，到后来的 7B、8B，再到今天的 35B-A3B，面壁智能的目标一直是「在端侧上提供最强的智能」。

这也是他认为端侧和云端模型底层逻辑不同的地方。云端通常拥有更充裕、可扩展的计算资源，可以通过增加参数和算力换取性能提升。端侧却受到内存、芯片性能和功耗的严格限制，每一分资源都需要精打细算。

在姚远看来，如果硬件明明还有潜力，却因为模型和推理技术的限制无法发挥出来，就是一种浪费。因此，面壁选择同时推进两条路线：一条是「摸高」，不断突破端侧智能的能力上限；另一条是「普惠」，让更多普通设备也能运行足够强大的模型。

低门槛的一侧已经落地。上一代 MiniCPM-V 4.6 就已经能在苹果、安卓和鸿蒙的千元机上流畅运行，几百元的设备也能达到每秒 15 个 token 以上，这一代的 1B 版本继续沿着这条线升级。

让端侧智能普及，不能只等更贵、更强的手机出现，也要让已有的普通设备运行更好的模型。

开源，把门槛再降一点

除了让模型能够运行在更多设备上，面壁智能还希望通过开源，让更多开发者和普通用户真正用起来。

此次 MiniCPM-V 4.7 发布，面壁同步开放了模型权重、端侧推理代码、App 安装包和微调方案。只要使用相同的设备，开发者下载后就能复现官方演示的效果，是可以接受开源社区验证的。

「最懂一个场景的，是身在其中的人。」研究团队认为，实验室训练的通用模型可以解决许多问题，但真实世界中还有大量细分需求，分散在不同人的工作和生活中。

面壁智能希望提供一套足够简单的方法，让开发者能够根据自己的场景快速调整模型，教会它新任务，同时尽量保留原有能力。

对于没有技术背景的普通用户，团队也在进一步降低门槛。团队介绍，未来计划将模型以 Skill 的形式接入各类智能体。用户只需要把官网链接发给自己常用的智能体，说一句「我要用这个模型」，就能完成调用。新发布的 MiniCPM OCR 已经提供了类似入口，后续 MiniCPM-V 系列也计划跟进。

从下载模型、配置环境到调用能力，原本需要开发者完成的一系列操作，未来可能只需要一句自然语言指令。

开源也在为面壁带来商业机会。

海外社区中，也已经有开发者利用 MiniCPM 开发智能眼镜、App 等产品。这些由开发者自主探索的应用，未来都有可能成为商业化的起点。

对于面壁而言，开源的价值也正在这里逐渐显现：模型进入更多设备，被更多开发者使用，才能发现实验室里未必看得到的需求，并在真实场景中持续改进。

端侧智能能否迎来自己的时代，最终取决于技术供给能否跨过用户需求的门槛，以及跨过之后，有多少人能够真正享受到它。从追求更强的模型，到降低硬件和使用门槛，再到依靠开源社区拓展应用，面壁正在尝试让这两件事同时发生。

尾声：普惠本身就很伟大

端侧 AI 的硬件基础正在迅速铺开。

IDC 预测，2026 年中国新一代 AI 手机出货量将达到 1.47 亿台，占整体市场的 53%。这意味着，每卖出两部新手机，就有一部具备端侧 AI 能力。

但对于眼下的「AI 原生手机」，姚远觉得「我们对 AI 原生手机的想象力还远远不够。」

「我们只能把一些显而易见的东西让 AI 帮我，很局部地解一下，省掉一点点时间。」未来，也许要思考：理想中的手机是什么样的？抛开现在这些 —— 还是这个思路：用户是很有个性的。想清楚这个形态，再用技术驱动实现，可能是更好的做法。

甚至，「AI 原生手机」这个概念本身也可能只是一个过渡。就像今天已经很少有人刻意强调「智能手机」，未来每部手机都将内置 AI，智能将无处不在。不过，在智能真正无处不在之前，还有一个更现实的问题需要解决：每个人能够获得的智能，是否应该由设备的价格决定？

过去，端侧模型常常不得不随着硬件配置「降级」，价格更低的设备，也意味着更有限的智能。面壁希望改变这种局面，让尽可能多的人，无论手里拿着什么设备，都能享受到足够好的 AI 能力。

「普惠这件事本身就足够伟大。」姚远说。

普惠最重要的价值，是让那些经济和物质条件尚未达到某个门槛的人，也能用上最好的技术。更重要的是，他们获得的不仅是使用工具的机会，还有参与创造的可能。

AI 编程已经让许多没有专业编程背景的人能够独立开发软件，普通人也开始借助大模型解决过去需要专业知识才能处理的问题。当智能的使用门槛足够低，更多人就有机会把自己的想法变成现实。

回头看，端侧智能的进步已经足够惊人。

三年前，GPT-4V 这样的云端旗舰模型，似乎还与手机隔着难以跨越的算力鸿沟。而今天，在部分能力上能够超越昔日云端旗舰的模型，已经可以运行在一部断网的 iPhone 上。

从云端到掌心，曾经只有少数云端智能厂商才能提供的智能，正在进入越来越普通的设备。衡量 AI 进步的尺度，除了最强的模型究竟有多聪明，还应该看看，有多少人能够真正用上这些智能。

当一部几百元的手机，也能为它的主人提供足够强大的智能支持时，AI 带来的改变才会真正深入到更多人的生活中。

而面壁智能正在做的，就是让这样的未来早一点到来。