神经操作系统：从研究设想到可交互的计算机环境
神经操作系统（neural operating system）探索用生成模型学习计算机的行为与交互：界面如何响应用户，历史状态如何延续，以及生成的体验如何连接到实际计算。循环网络和扩散渲染器是实现这一方向的具体选择；研究问题还包括交互方式、状态表示、服务连接与可适应的用户体验。
从设想到交互模型
2023 年，Gabriele Tolomei、Cesare Campagnano、Fabrizio Silvestri 和 Giovanni Trappolini 提出 Prompt-to-OS，讨论将生成模型置于用户与计算服务之间，以用户意图、个性化交互和按任务生成的界面组织计算体验。这是一项关于新交互范式的概念性提案。Prompt-to-OS 原文。
2025 年 7 月 11 日，Luke Rivard、Sun Sun、Hongyu Guo、Wenhu Chen 和 Yuntian Deng 发布 NeuralOS: Towards Simulating Operating Systems via Neural Generative Models。原始论文将操作系统界面仿真表述为学习问题：屏幕随输入事件演变，模型在交互序列中保留状态。论文提出实现、训练流程和数据采集系统，研究如何让模型响应具体的鼠标与键盘操作。原始版本。
NeuralOS 在 Ubuntu XFCE 的交互记录上训练，用循环状态模型跟踪历史，并以此为条件通过扩散模型生成桌面画面。其贡献包括问题定义、交互需求、状态跟踪与精确控制，也指向能够从数据中学习和适应的生成式界面。原始建模与架构。
2026 年 3 月 12 日的修订版发表于 ICLR 2026，还展示了使用合成示范训练模型，模拟录制环境中没有安装的新应用。版本记录 · 会议正式记录。
模型究竟学到了计算机的哪一部分？
屏幕只呈现系统状态的一部分。被遮挡的窗口仍有内容，窗口关闭后文件仍然存在，后台操作也有自己的进度。阅读论文时，应分开检查三个问题：
- 交互：模型接受哪些动作？动作何时影响输出？
- 状态：哪些信息在离开当前画面后仍被保留？
- 服务：哪些操作真正作用于应用、存储系统或外部工具？
NeuralOS 学习界面的动态过程；仿真时，模型生成屏幕，底层应用程序并不实际执行。由此得到的文件图标、计算结果或终端画面，不能直接当作真实系统已经完成对应操作的证据。论文讨论了模拟画面与底层系统服务之间的差距，以及精确打字和长时记忆的限制。修订版的讨论与限制。
与计算机操作智能体有什么不同？
计算机操作智能体（computer-use agent）根据目标选择动作，在现有软件中执行。NeuralOS 则充当学习到的环境，接收用户或智能体的输入，生成随后的桌面画面。一个模型可以用于预测操作结果，也可以为智能体提供训练环境；这些用途需要相应实验来检验。
比较不同系统时，先看它保存什么状态、暴露什么控制、连接哪些真实服务，再看它生成怎样的体验。代码生成界面、像素生成模拟器与操作现有软件的智能体，各自回答不同层次的问题。
继续阅读从视频预测到 GUI 世界模型和评测指南。NeuralOS 论文页提供完整作者、日期、预印本与正式发表版本的引用。