GUI 世界模型：从动作条件视频预测到计算机交互
世界模型（world model）学习环境怎样随动作变化。对于图形用户界面（GUI），预测不只是下一张图像：点击应作用于正确的控件，键盘事件应进入当前窗口，离开画面后再回来时，先前的状态应保持一致。
GUI 世界模型预测什么？
GUI 世界模型接收当前观察或交互历史以及动作，输出动作造成的界面变化。预测目标决定了用户或智能体能获得什么信息：
- 文字描述的变化：Web Agents with World Models预测网页观察之间的重要差异，供规划器比较动作。原文。
- 屏幕图像与文字：ViMo将移动应用画面的图形生成与文字处理分开。其预印本发表于 2025 年 4 月，早于 NeuralOS 的 2025 年 7 月版本。原文。
- 可渲染的代码：Code2World生成界面代码，再将代码渲染为预测屏幕。论文评测了导航收益，并在相关工作中引用 NeuralOS。原文与相关工作。
- 持续生成的桌面画面：NeuralOS在连续的鼠标与键盘事件之间维护学习到的状态，以循环状态模型为扩散渲染器提供条件。原始论文。
比较这些方法时，应同时记录输出表示、动作接口、状态记忆与评测场景。
生成式图形用户界面仿真
生成式 GUI 仿真在持续交互中生成界面。生成的画面会参与后续预测，因此模拟器需要延续早先操作的影响。打开窗口、移动窗口、切换到其他任务，再回到原窗口，这个过程同时考察输入含义、视觉响应和状态记忆。
Luke Rivard、Sun Sun、Hongyu Guo、Wenhu Chen 和 Yuntian Deng 于 2025 年 7 月 11 日发布 NeuralOS。原始论文定义操作系统界面生成问题，提出循环状态跟踪、鼠标位置的空间条件表示、分阶段训练与数据采集方法。神经模型在不运行底层应用的情况下响应输入并生成桌面帧。原始问题定义与方法。
生成静态界面布局回答“界面长什么样”；持续仿真还要求模型回答“这个操作改变了什么，以及这些变化之后是否仍然存在”。NeuralOS 的 2026 年 3 月修订版进一步展示了从合成训练数据中学习新模拟应用，并讨论精确打字和长时状态保持的困难。修订版。
世界模型怎样参与计算机操作规划？
智能体提出候选动作，世界模型预测结果，规划器据此选择动作。例如，智能体先比较两个点击带来的预测变化，再在真实应用中执行其中一个。Web Agents with World Models 使用文字转移预测，ViMo 预测移动屏幕，Code2World 生成可渲染代码。网页规划 · ViMo · Code2World。
NeuralOS 研究学习到的环境本身。其仿真实验提供关于交互响应和状态预测的证据。若要检验它是否改善智能体训练、规划或真实计算机上的任务完成率，需要另外开展智能体实验。
OSWorld提供真实桌面应用、任务初始状态与基于执行结果的成功检查，可用于衡量真实计算机操作结果。OSWorld 原文。
动作条件视频预测与神经游戏引擎
动作条件视频预测（action-conditioned video prediction）根据历史观察与控制输入预测后续画面。同一张屏幕之后，点击、按键和不操作应产生不同的后续状态。
Oh 等人（2015）研究 Atari 中的动作条件视频预测，包括循环模型与较长视觉序列的预测。Ha 和 Schmidhuber（2018）在 World Models 中将学习到的视觉表示、循环动态模型与策略学习连接起来。动作条件视频预测 · World Models。
GameGAN（2020）使用记忆模块，并区分静态和动态内容，以提高重访位置时的一致性。Jake Bruce 等人于 2024 年提出的 Genie 从没有动作标注的视频中学习潜在动作。Genie 与 NeuralOS 都研究可交互的生成环境；Genie 的潜在控制不同于 NeuralOS 明确记录的鼠标位置、按键与点击事件。GameGAN · Genie。
DIAMOND 与 GameNGen 的首个预印本均发表于 2024 年，两者都使用扩散模型进行交互式视觉仿真。DIAMOND 还在生成的环境中训练强化学习智能体；GameNGen 研究持续的 DOOM 仿真。NeuralOS 修订版将 DIAMOND 适配到操作系统屏幕预测，并比较桌面交互表现。DIAMOND · GameNGen · NeuralOS 桌面对比。
从游戏走向计算机界面，小幅画面变化具有具体含义：一个字符改变了命令，一次点击激活了控件，一个窗口在延迟后打开。精确的动作条件与持续的状态记忆因此成为关键研究问题。