新计算范式：神经计算机横空出世

如果计算机不再依赖显式程序，而是靠一组神经网络权重就能自主运行，它会是什么样子？它能像传统计算机一样执行命令、管理内存、处理输入输出，同时又具备神经网络的泛化与鲁棒性吗？

Meta人工智能研究院与阿卜杜拉国王科技大学（King Abdullah University of Science and Technology, KAUST）的研究团队在arXiv发布论文，提出了将计算、内存和输入输出（input/output, I/O）统一于单一潜运行时状态（latent runtime state）的机器形态。他们的长期目标是完全神经计算机（Completely Neural Computer, CNC）：一种成熟、通用的计算范式，具备稳定的执行能力、显式的可重编程性和持久的能力复用。

01

现有计算架构的"三重分裂"

传统数字计算机（conventional digital computer）将计算、内存和I/O分离为不同模块。操作系统调度进程，应用程序执行显式指令，人类通过键盘和屏幕与机器交互。这种架构精确且可解释，但在噪声和分布外场景下显得脆弱。

人工智能智能体（AI agent）走另一条路。它将大型语言模型（large language model, LLM）作为中介，调用外部工具完成特定任务。然而，智能体始终依赖外部执行环境承载可运行状态，模型本身并不就是计算机。

世界模型（world model）则学习环境的动态规律，预测动作条件下的状态转移。它能生成连贯的帧序列，却不承担运行时本身的职责。

研究者指出，这三类系统对象各自为政：传统计算机执行显式程序，智能体通过外部环境行动，世界模型学习环境动态，而可执行状态始终驻留在模型之外。神经计算机的动机正是填补这一空白：它不是现有栈上更聪明的一层，而是让模型本身成为正在运行的计算机。

02

神经计算机：让模型本身成为运行时

面对这一分裂，研究团队给出的答案是神经计算机。其核心目标只有一个：让单一权重集合充当"计算机"，将计算、内存和I/O统一于学习得到的潜运行时状态。

神经计算机由更新函数（update function）F_θ 和解码器G_θ 构成。给定初始潜状态 h_0、当前观测 x_t 和动作 u_t，系统按以下循环运行：

h_t = F_θ(h_{t-1}, x_t, u_t)，x_{t+1} ~ G_θ(h_t)

在这一公式中，h_t 同时提供持久的运行时内存，F_θ 承担状态更新计算，而 (x_t, u_t, G_θ) 构成从观测与动作到下一观测状态的 I/O 通路。辅助头（auxiliary head）可对提示词、缓冲区或动作轨迹进行编码和解码，将传统上由操作系统队列、设备驱动和界面工具包承担的功能移入潜状态动态。

这与神经图灵机（Neural Turing Machine）和可微神经计算机（Differentiable Neural Computer）有本质区别。后两者关注可微外部内存，而神经计算机关注学习机器本身能否承担运行中的计算机角色。

图1：神经计算机（Neural Computer, NC）跨接口抽象示意图。

03

从命令行到桌面：两个原型系统

为了验证这一抽象，研究团队将其具体实现为视频模型（video model）。在当前阶段，视频模型是构建原型的最实用基底。他们开发了两个接口专用的神经计算机实例：NCCLIGen 用于命令行界面（CLI），NCGUIWorld 用于图形用户界面。

NCCLIGen：命令行视频生成器

观测 x_t 为终端帧，条件流 u_t 承载用户提示词和可选元数据，视频潜状态 z_t 实现潜运行时状态 h_t。模型从提示词和首帧出发，滚动生成未来终端帧。

数据来自两个来源。CLIGen (General) 采集自公开的 asciinema 轨迹，经重放、渲染和隐私过滤后得到 823989 条视频流，约 1100 小时，帧率 15 帧/秒。CLIGen (Clean) 使用开源 vhs 工具包在 Docker 化环境中录制确定性脚本，约 250000 条脚本经筛选后保留 51.21%，得到约 78000 条常规轨迹和 50000 条 Python 数学验证轨迹。

架构上，终端帧经变分自编码器（variational autoencoder, VAE）编码为条件潜变量，CLIP 图像编码器提取视觉特征，文本编码器嵌入提示词。这些条件特征与扩散噪声拼接后，由基于 Wan2.1 的扩散 Transformer（diffusion transformer）处理。去耦交叉注意力（decoupled cross-attention）将联合的提示词与首帧上下文注入模型。

训练使用 AdamW 优化器，学习率 5 × 10^-5，权重衰减 10^-2，bfloat16 精度，梯度裁剪（gradient clipping）为 1.0，提示词编码器、CLIP 和 VAE 模块的随机失活（dropout）率为 0.1。NCCLIGen 在 CLIGen (General) 上的训练约需 15000 H100 GPU 小时；在 CLIGen (Clean) 上约需 7000 H100 GPU 小时。

图2：用于训练神经计算机行为的数据类型。

03

从NCGUIWorld：桌面世界模型

在交互式桌面环境中，细粒度动作控制至关重要。模型将每次交互建模为同步的 RGB 帧 x_t 与输入事件 u_t（鼠标和键盘）序列。视频潜状态跨帧维持界面上下文，时间对齐的动作输入提供控制信号。

数据集包含两种随机交互风格："Random Slow"（约 1000 小时，动作密度 1.51 次/秒，平均光标速度 1.58 像素/帧）和 "Random Fast"（约 400 小时，动作密度 195.15 次/秒，平均光标速度 4.18 像素/帧），以及一组由 Claude CUA 采集的监督轨迹（约 110 小时，动作密度 3.79 次/秒，平均光标速度 0.10 像素/帧）。

动作编码有两种方案。原始动作编码器（raw-action encoder）保留细粒度鼠标/键盘事件流；元动作编码器（meta-action encoder）将交互抽象为粗粒度应用编程接口式类别（点击、拖拽、滚动、输入、快捷键）。动作嵌入通过四种模式注入扩散 Transformer：外部（external）、上下文（contextual）、残差（residual）和内部（internal）条件化。

图3：NCCLIGen 架构流程。

图4：GUIWorld 光标参考帧构造。

04

通往完全神经计算机：路线图与未解难题

研究团队将成熟、通用的神经计算机称为完全神经计算机。一个神经计算机实例是"完全的"，当且仅当满足四项条件：

（1）图灵完备（Turing complete）；

（2）通用可编程（universally programmable）；

（3）除非显式重编程，否则行为一致；

（4）实现神经计算机相对于传统计算机的架构与编程语言优势。

图灵完备要求有效内存无界。通用可编程要求存在输入序列能将给定图灵机安装为新的内存状态。行为一致性要求区分"运行"与"更新"：普通输入执行已安装能力而不静默修改它，行为改变必须通过编程接口显式发生。这需要在训练和架构层面解耦功能使用与功能更新。

在架构语义层面，神经计算机的数值化内存状态支持传统符号接口难以表达的功能，包括高维潜状态上的概率推断、稠密记忆上的检索、以及感知与控制端到端可微的流水线。在编程语言语义层面，用户输入本身充当程序，自然语言指令、示例和约束成为可执行规范。

然而，当前原型距离 CNC 仍有显著差距。长程推理、符号稳定性、能力复用和显式运行时治理是核心开放挑战。研究团队假设，弥合推理差距可能需要"机器原生"的神经架构：显式离散操作、组合结构和可验证计算，而非仅依赖生物启发的连续分布式表示中的涌现推理。

如果这些问题被克服，神经计算机将建立一种超越当今智能体、世界模型和传统计算机的新计算范式。未来的机器或许真的能以一个统一的潜状态，持续执行、积累能力并治理更新。

脑机接口社区是国内首家脑机接口(BCI)产业服务平台、国内脑机接口新媒体开创者与引领者。主要为企业、科研团队、投资机构和从业者提供以下服务：

宣传报道：图文、短视频、直播形式报道企业动态、技术解读、产品介绍等内容，提升曝光和行业影响力。

资源对接：根据需求匹配资本、供应链、临床机构、渠道方等资源，完成真实对接，促进合作。

成果转化：协助技术团队寻找产业方、投资人及落地场景，推动技术到产品的转化。

活动策划执行：承接线上线下路演、沙龙、论坛等活动的策划与执行。

其他定制需求：包括报告定制、市场调研、人才招聘支持等个性化服务。

合作洽谈，请联系微信：ZuoLeiLeiya

（备注：姓名-单位-合作）