论文导读
Genie: Generative Interactive Environments
首个 arXiv 版本： · arXiv
从没有真实动作标签的视频中学习可控制的视觉环境，使用模型学到的潜在动作空间。
研究贡献与问题设置
结合视频词元化、动态模型和潜在动作学习，让用户与由图像初始化的世界交互。
- 模型输出
- 以动作为条件的未来视频帧。
- 动作接口
- 训练时从视频中推断的离散潜在动作，而非录制的实际输入事件。
- 状态与记忆
- 时空动态模型根据先前的视觉词元和动作预测后续画面。
与 NeuralOS 的联系
NeuralOS 在相关工作中引用 Genie。Genie 从视频中学习动作空间；NeuralOS 接收明确的鼠标和键盘事件。
适用范围与限制
控制输入采用从视频中推断并学习得到的潜在动作。
相关术语：Genie、生成式交互环境、潜在动作、基础世界模型
引用这篇论文
arXiv 预印本
请引用实际使用的版本。