# 神经操作系统与 GUI 世界模型

作者：Yuntian Deng

[中文阅读指南](https://neural-os.com/reading-list/zh/) · [JSON 与引用](https://neural-os.com/reading-list/zh/data/)

论文按首个 arXiv 版本日期排序。

## Action-Conditional Video Prediction using Deep Networks in Atari Games

作者：Junhyuk Oh, Xiaoxiao Guo, Honglak Lee, Richard Lewis, Satinder Singh

首个 arXiv 版本：2015-07-31 · NeurIPS 2015

[原文](https://arxiv.org/abs/1507.08750) · [中文导读](https://neural-os.com/reading-list/zh/papers/1507.08750/) · [BibTeX](https://neural-os.com/reading-list/papers/1507.08750/citation.bib) · [CSL-JSON](https://neural-os.com/reading-list/papers/1507.08750/citation.csl.json)

**概述：**根据历史画面和控制输入预测 Atari 游戏的后续帧，将视觉生成与智能体的动作联系起来。

**研究贡献：**提出带有动作相关变换的前馈架构和循环架构，评估连续多步画面预测及其对控制任务的作用。

**模型输出：**预测的游戏画面。

**动作接口：**离散的 Atari 游戏控制动作。

**状态与记忆：**使用历史观测；循环架构通过隐状态在时间上保留信息。

**与 NeuralOS 的联系：**NeuralOS 在引言和参考文献中引用的早期动作条件视觉预测工作。

**适用范围与限制：**实验使用 Atari 游戏。

[联系的原始来源](https://arxiv.org/html/2507.08800v1)

## World Models

作者：David Ha, Jürgen Schmidhuber

首个 arXiv 版本：2018-03-27 · arXiv

[原文](https://arxiv.org/abs/1803.10122) · [中文导读](https://neural-os.com/reading-list/zh/papers/1803.10122/) · [BibTeX](https://neural-os.com/reading-list/papers/1803.10122/citation.bib) · [CSL-JSON](https://neural-os.com/reading-list/papers/1803.10122/citation.csl.json)

**概述：**将学习得到的视觉压缩表示、循环动态模型与控制器结合，并在生成的环境中训练智能体。

**研究贡献：**展示紧凑的学习式环境表示如何支持策略学习，以及如何将模拟梦境中学到的策略迁移回原始任务。

**模型输出：**预测的潜在观测表示，配合图像解码器和针对任务的终止预测。

**动作接口：**控制器在所研究的强化学习环境中执行的动作。

**状态与记忆：**循环模型汇总潜在观测和动作的历史。

**与 NeuralOS 的联系：**NeuralOS 将其作为学习式仿真和智能体训练的背景工作引用。

**适用范围与限制：**模型将观测压缩为用于控制的潜在表示。

[联系的原始来源](https://arxiv.org/html/2507.08800v2)

## Learning to Simulate Dynamic Environments with GameGAN

作者：Seung Wook Kim, Yuhao Zhou, Jonah Philion, Antonio Torralba, Sanja Fidler

首个 arXiv 版本：2020-05-25 · CVPR 2020

[原文](https://arxiv.org/abs/2005.12126) · [中文导读](https://neural-os.com/reading-list/zh/papers/2005.12126/) · [BibTeX](https://neural-os.com/reading-list/papers/2005.12126/citation.bib) · [CSL-JSON](https://neural-os.com/reading-list/papers/2005.12126/citation.csl.json)

**概述：**利用生成对抗网络，从游戏画面和键盘动作中学习可交互的视觉游戏模拟器。

**研究贡献：**引入记忆模块，在重访场景位置时保留信息，并分离图像中的静态与动态成分，以维持视觉一致性和重组场景成分。

**模型输出：**下一帧游戏画面。

**动作接口：**以键盘动作表示的游戏控制输入。

**状态与记忆：**循环动态模型与外部记忆模块结合，后者存储内部环境地图。

**与 NeuralOS 的联系：**NeuralOS 在相关工作中讨论的早期交互式神经模拟器。

**适用范围与限制：**模拟器从录制的游戏数据中学习，并以空间地图组织记忆。

[联系的原始来源](https://arxiv.org/html/2507.08800v2)

## Prompt-to-OS (P2OS): Revolutionizing Operating Systems and Human-Computer Interaction with Integrated AI Generative Models

作者：Gabriele Tolomei, Cesare Campagnano, Fabrizio Silvestri, Giovanni Trappolini

首个 arXiv 版本：2023-10-07 · IEEE CogMI 2023

[原文](https://arxiv.org/abs/2310.04875) · [中文导读](https://neural-os.com/reading-list/zh/papers/2310.04875/) · [BibTeX](https://neural-os.com/reading-list/papers/2310.04875/citation.bib) · [CSL-JSON](https://neural-os.com/reading-list/papers/2310.04875/citation.csl.json)

**概述：**提出一种操作系统交互范式：由相互连接的生成模型理解用户意图，并承接或替代传统应用界面的交互。

**研究贡献：**提出自然语言驱动、个性化计算机交互的整体构想，将语言模型和扩散模型纳入界面组件。

**模型输出：**构想中的上下文相关响应和生成式界面。

**动作接口：**用户通过文字、语音等形式提出的自然语言请求。

**状态与记忆：**提出个性化和上下文相关交互的设计。

**与 NeuralOS 的联系：**NeuralOS 将 Prompt-to-OS 作为生成式计算机交互的背景工作引用。

**适用范围与限制：**这是一项关于生成式计算机界面的概念性提案。

[联系的原始来源](https://arxiv.org/html/2507.08800v2)

## Genie: Generative Interactive Environments

作者：Jake Bruce, Michael Dennis, Ashley Edwards, Jack Parker-Holder, Yuge Shi, Edward Hughes, Matthew Lai, Aditi Mavalankar, Richie Steigerwald, Chris Apps, Yusuf Aytar, Sarah Bechtle, Feryal Behbahani, Stephanie Chan, Nicolas Heess, Lucy Gonzalez, Simon Osindero, Sherjil Ozair, Scott Reed, Jingwei Zhang, Konrad Zolna, Jeff Clune, Nando de Freitas, Satinder Singh, Tim Rocktäschel

首个 arXiv 版本：2024-02-23 · arXiv

[原文](https://arxiv.org/abs/2402.15391) · [中文导读](https://neural-os.com/reading-list/zh/papers/2402.15391/) · [BibTeX](https://neural-os.com/reading-list/papers/2402.15391/citation.bib) · [CSL-JSON](https://neural-os.com/reading-list/papers/2402.15391/citation.csl.json)

**概述：**从没有真实动作标签的视频中学习可控制的视觉环境，使用模型学到的潜在动作空间。

**研究贡献：**结合视频词元化、动态模型和潜在动作学习，让用户与由图像初始化的世界交互。

**模型输出：**以动作为条件的未来视频帧。

**动作接口：**训练时从视频中推断的离散潜在动作，而非录制的实际输入事件。

**状态与记忆：**时空动态模型根据先前的视觉词元和动作预测后续画面。

**与 NeuralOS 的联系：**NeuralOS 在相关工作中引用 Genie。Genie 从视频中学习动作空间；NeuralOS 接收明确的鼠标和键盘事件。

**适用范围与限制：**控制输入采用从视频中推断并学习得到的潜在动作。

[联系的原始来源](https://arxiv.org/html/2507.08800v2)

## OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments

作者：Tianbao Xie, Danyang Zhang, Jixuan Chen, Xiaochuan Li, Siheng Zhao, Ruisheng Cao, Toh Jing Hua, Zhoujun Cheng, Dongchan Shin, Fangyu Lei, Yitao Liu, Yiheng Xu, Shuyan Zhou, Silvio Savarese, Caiming Xiong, Victor Zhong, Tao Yu

首个 arXiv 版本：2024-04-11 · NeurIPS 2024

[原文](https://arxiv.org/abs/2404.07972) · [中文导读](https://neural-os.com/reading-list/zh/papers/2404.07972/) · [BibTeX](https://neural-os.com/reading-list/papers/2404.07972/citation.bib) · [CSL-JSON](https://neural-os.com/reading-list/papers/2404.07972/citation.csl.json)

**概述：**提供真实计算机环境和可复现任务，覆盖桌面应用、网站和文件操作。

**研究贡献：**将任务初始化与基于执行结果的评估器配套，让智能体通过真实软件完成工作流程，评估实际结果，而非匹配固定的动作序列。

**模型输出：**来自真实计算机环境的观测和评估结果。

**动作接口：**通过基准支持的动作接口与计算机交互。

**状态与记忆：**环境使用的真实操作系统和应用程序负责保存状态。

**与 NeuralOS 的联系：**提供用于评估计算机使用智能体的桌面任务和结果检查。

**适用范围与限制：**评估对象是真实桌面应用、网站和文件中的工作流程。

[联系的原始来源](https://arxiv.org/abs/2404.07972)

正式发表：OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments. Tianbao Xie, Danyang Zhang, Jixuan Chen, Xiaochuan Li, Siheng Zhao, Ruisheng Cao, Toh Jing Hua, Zhoujun Cheng, Dongchan Shin, Fangyu Lei, Yitao Liu, Yiheng Xu, Shuyan Zhou, Silvio Savarese, Caiming Xiong, Victor Zhong, Tao Yu. Advances in Neural Information Processing Systems, 2024.

[正式记录](https://proceedings.neurips.cc/paper_files/paper/2024/hash/5d413e48f84dc61244b6be550f1cd8f5-Abstract-Datasets_and_Benchmarks_Track.html) · [正式版本 BibTeX](https://neural-os.com/reading-list/papers/2404.07972/publication.bib)

## Diffusion for World Modeling: Visual Details Matter in Atari

作者：Eloi Alonso, Adam Jelley, Vincent Micheli, Anssi Kanervisto, Amos Storkey, Tim Pearce, François Fleuret

首个 arXiv 版本：2024-05-20 · NeurIPS 2024

[原文](https://arxiv.org/abs/2405.12399) · [中文导读](https://neural-os.com/reading-list/zh/papers/2405.12399/) · [BibTeX](https://neural-os.com/reading-list/papers/2405.12399/citation.bib) · [CSL-JSON](https://neural-os.com/reading-list/papers/2405.12399/citation.csl.json)

**概述：**提出在扩散世界模型中训练的智能体 DIAMOND，研究保留视觉细节对控制任务的影响。

**研究贡献：**将基于扩散模型的观测预测与 Atari 策略学习结合，并展示可交互的 Counter-Strike 模拟器。

**模型输出：**预测的视觉观测；奖励和终止状态的辅助预测用于支持强化学习。

**动作接口：**所建模游戏环境中的动作。

**状态与记忆：**视觉动态以有限长度的观测和动作历史为条件。

**与 NeuralOS 的联系：**NeuralOS 在 2026 年修订版的附录 A 中，将 DIAMOND 适配到操作系统画面预测，并作为基线进行比较。

**适用范围与限制：**原工作在游戏上评估；NeuralOS 对其进行适配，并在桌面画面预测上评估。

[联系的原始来源](https://arxiv.org/html/2507.08800v2#A1)

## AndroidWorld: A Dynamic Benchmarking Environment for Autonomous Agents

作者：Christopher Rawles, Sarah Clinckemaillie, Yifan Chang, Jonathan Waltz, Gabrielle Lau, Marybeth Fair, Alice Li, William Bishop, Wei Li, Folawiyo Campbell-Ajala, Daniel Toyama, Robert Berry, Divya Tyamagundlu, Timothy Lillicrap, Oriana Riva

首个 arXiv 版本：2024-05-23 · ICLR 2025

[原文](https://arxiv.org/abs/2405.14573) · [中文导读](https://neural-os.com/reading-list/zh/papers/2405.14573/) · [BibTeX](https://neural-os.com/reading-list/papers/2405.14573/citation.bib) · [CSL-JSON](https://neural-os.com/reading-list/papers/2405.14573/citation.csl.json)

**概述：**提供功能完整的 Android 环境，包含参数化任务和对设备状态的程序化检查。

**研究贡献：**将任务初始化、成功检查和环境清理与可变任务实例结合，使移动端智能体评估可复现，并减少对固定测试集的依赖。

**模型输出：**Android 环境中的观测和任务奖励。

**动作接口：**在 Android 设备环境中执行的智能体动作。

**状态与记忆：**Android 系统和应用程序维护状态，评估器直接检查这些状态。

**与 NeuralOS 的联系：**提供用于评估移动端智能体的 Android 任务和结果检查。

**适用范围与限制：**该基准覆盖 Android 应用，采用参数化任务和程序化成功检查。

[联系的原始来源](https://arxiv.org/abs/2405.14573)

正式发表：AndroidWorld: A Dynamic Benchmarking Environment for Autonomous Agents. Chris Rawles, Sarah Clinckemaillie, Yifan Chang, Jonathan Waltz, Gabrielle Lau, Marybeth Fair, Alice Li, William Bishop, Wei Li, Folawiyo Campbell-Ajala, Daniel Toyama, Robert Berry, Divya Tyamagundlu, Timothy Lillicrap, Oriana Riva. International Conference on Learning Representations, 2025.

[正式记录](https://proceedings.iclr.cc/paper_files/paper/2025/hash/01a83bc2f2732a58e6aa731e659e7101-Abstract-Conference.html) · [正式版本 BibTeX](https://neural-os.com/reading-list/papers/2405.14573/publication.bib)

## Diffusion Models Are Real-Time Game Engines

作者：Dani Valevski, Yaniv Leviathan, Moab Arar, Shlomi Fruchter

首个 arXiv 版本：2024-08-27 · ICLR 2025

[原文](https://arxiv.org/abs/2408.14837) · [中文导读](https://neural-os.com/reading-list/zh/papers/2408.14837/) · [BibTeX](https://neural-os.com/reading-list/papers/2408.14837/citation.bib) · [CSL-JSON](https://neural-os.com/reading-list/papers/2408.14837/citation.csl.json)

**概述：**提出 GameNGen，利用扩散模型根据历史画面和玩家动作交互式地模拟 DOOM。

**研究贡献：**利用智能体采集游戏数据，并通过条件增强和解码器微调，维持自回归的视觉交互。

**模型输出：**渲染出的下一帧游戏画面。

**动作接口：**DOOM 玩家动作。

**状态与记忆：**以近期画面和动作序列为条件；持续交互时，生成的画面被送回模型，成为后续预测的输入。

**与 NeuralOS 的联系：**NeuralOS 将其作为交互式仿真的背景工作引用，也参考了其感知评估设置。

**适用范围与限制：**模拟器在 DOOM 上训练和评估。

[联系的原始来源](https://arxiv.org/html/2507.08800v2)

## Web Agents with World Models: Learning and Leveraging Environment Dynamics in Web Navigation

作者：Hyungjoo Chae, Namyoung Kim, Kai Tzu-iunn Ong, Minju Gwak, Gwanwoo Song, Jihoon Kim, Sunghwan Kim, Dongha Lee, Jinyoung Yeo

首个 arXiv 版本：2024-10-17 · ICLR 2025

[原文](https://arxiv.org/abs/2410.13232) · [中文导读](https://neural-os.com/reading-list/zh/papers/2410.13232/) · [BibTeX](https://neural-os.com/reading-list/papers/2410.13232/citation.bib) · [CSL-JSON](https://neural-os.com/reading-list/papers/2410.13232/citation.csl.json)

**概述：**用自然语言描述候选网页动作引起的重要变化，再根据这些预测选择动作。

**研究贡献：**提出以状态转移为重点的抽象表示，减轻预测冗长、重复网页观测的负担，并支持借助世界模型进行规划。

**模型输出：**对下一次网页观测中变化的自然语言描述。

**动作接口：**候选网页导航动作。

**状态与记忆：**规划器使用网页上下文和预测的状态变化描述。

**与 NeuralOS 的联系：**将环境预测与网页导航中智能体的决策联系起来。

**适用范围与限制：**论文通过状态变化的文字描述评估网页导航。

[联系的原始来源](https://arxiv.org/abs/2410.13232)

## ViMo: A Generative Visual GUI World Model for App Agents

作者：Dezhao Luo, Bohan Tang, Kang Li, Georgios Papoudakis, Jifei Song, Shaogang Gong, Jianye Hao, Jun Wang, Kun Shao

首个 arXiv 版本：2025-04-15 · arXiv

[原文](https://arxiv.org/abs/2504.13936) · [中文导读](https://neural-os.com/reading-list/zh/papers/2504.13936/) · [BibTeX](https://neural-os.com/reading-list/papers/2504.13936/citation.bib) · [CSL-JSON](https://neural-os.com/reading-list/papers/2504.13936/citation.csl.json)

**概述：**预测移动应用的后续屏幕，帮助智能体比较候选动作，并将图形内容与文字内容分开处理。

**研究贡献：**用符号化文字占位符保留布局，将图形预测和文字预测交给不同组件完成。

**模型输出：**由图形预测和文字预测组合而成的未来移动 GUI 图像。

**动作接口：**候选移动应用操作。

**状态与记忆：**以屏幕和动作为条件进行预测；符号化文字表示保留文字位置与布局。

**与 NeuralOS 的联系：**这项视觉 GUI 世界模型研究于 2025 年 4 月公开，早于 NeuralOS 在 2025 年 7 月发布的预印本。

**适用范围与限制：**实验研究面向智能体规划的移动应用屏幕预测。

[联系的原始来源](https://arxiv.org/abs/2504.13936)

## NeuralOS: Towards Simulating Operating Systems via Neural Generative Models

作者：Luke Rivard, Sun Sun, Hongyu Guo, Wenhu Chen, Yuntian Deng

首个 arXiv 版本：2025-07-11 · ICLR 2026

[原文](https://arxiv.org/abs/2507.08800) · [中文导读](https://neural-os.com/reading-list/zh/papers/2507.08800/) · [BibTeX](https://neural-os.com/reading-list/papers/2507.08800/citation.bib) · [CSL-JSON](https://neural-os.com/reading-list/papers/2507.08800/citation.csl.json)

**概述：**NeuralOS 研究 AI 操作系统与下一代 GUI 的生成式计算方向。模型从交互数据中学习计算机环境，结合循环状态跟踪与扩散渲染器，根据鼠标和键盘输入预测下一帧屏幕图像。

**研究贡献：**形式化操作系统界面生成问题，并提出状态跟踪、精确的光标位置条件表示、分阶段训练和数据采集方法。2026 年修订版进一步展示了如何从合成训练数据中学习一个新的模拟应用。

**模型输出：**以自回归方式生成的桌面画面序列。

**动作接口：**光标坐标、鼠标左键和右键点击，以及键盘按下和释放事件。

**状态与记忆：**层次化循环模型跨帧保留状态，并为扩散渲染器提供条件信息。

**与 NeuralOS 的联系：**提出 NeuralOS，以及通过学习来模拟操作系统界面的问题定义。

**适用范围与限制：**精细文本输入和长时间跨度的状态保持仍有困难。模拟界面不提供传统操作系统底层的文件系统、进程或应用服务。

[原始版本](https://arxiv.org/html/2507.08800v1)

[修订版](https://arxiv.org/html/2507.08800v2)

[联系的原始来源](https://arxiv.org/html/2507.08800v1)

正式发表：NeuralOS: Towards Simulating Operating Systems via Neural Generative Models. Luke Rivard, Sun Sun, Hongyu Guo, Wenhu Chen, Yuntian Deng. International Conference on Learning Representations, 2026.

[正式记录](https://proceedings.iclr.cc/paper_files/paper/2026/hash/2174a6749c3f769358cd21ade1221b34-Abstract-Conference.html) · [正式版本 BibTeX](https://neural-os.com/reading-list/papers/2507.08800/publication.bib)

媒体报道：[量子位报道](https://www.qbitai.com/2025/07/309398.html) · 一水 · 2025-07-15

## Code2World: A GUI World Model via Renderable Code Generation

作者：Yuhao Zheng, Li'an Zhong, Yi Wang, Rui Dai, Kaikui Liu, Xiangxiang Chu, Linyuan Lv, Philip Torr, Kevin Qinghong Lin

首个 arXiv 版本：2026-02-10 · arXiv

[原文](https://arxiv.org/abs/2602.09856) · [中文导读](https://neural-os.com/reading-list/zh/papers/2602.09856/) · [BibTeX](https://neural-os.com/reading-list/papers/2602.09856/citation.bib) · [CSL-JSON](https://neural-os.com/reading-list/papers/2602.09856/citation.csl.json)

**概述：**通过生成可渲染代码来预测 GUI 的下一视觉状态，并评估预测结果是否有助于移动端智能体导航。

**研究贡献：**构建配对的屏幕、动作和代码数据，使用渲染后的视觉反馈训练模型，兼顾界面外观和动作一致性。

**模型输出：**可渲染的界面代码，经渲染得到预测的下一屏幕。

**动作接口：**当前 GUI 观测和一个候选交互，通过动作描述与视觉提示输入模型。

**状态与记忆：**预测以当前屏幕和动作为条件；输出界面由可渲染的结构表示。

**与 NeuralOS 的联系：**Code2World 在第 2.2 节和参考文献中引用 NeuralOS。

**适用范围与限制：**使用生成代码和浏览器，为 Android 导航预测屏幕。

[联系的原始来源](https://arxiv.org/html/2602.09856v1#S2.SS2)