论文导读

ViMo: A Generative Visual GUI World Model for App Agents

Dezhao Luo, Bohan Tang, Kang Li, Georgios Papoudakis, Jifei Song, Shaogang Gong, Jianye Hao, Jun Wang, Kun Shao

首个 arXiv 版本: · arXiv

预测移动应用的后续屏幕,帮助智能体比较候选动作,并将图形内容与文字内容分开处理。

研究贡献与问题设置

用符号化文字占位符保留布局,将图形预测和文字预测交给不同组件完成。

模型输出
由图形预测和文字预测组合而成的未来移动 GUI 图像。
动作接口
候选移动应用操作。
状态与记忆
以屏幕和动作为条件进行预测;符号化文字表示保留文字位置与布局。

与 NeuralOS 的联系

这项视觉 GUI 世界模型研究于 2025 年 4 月公开,早于 NeuralOS 在 2025 年 7 月发布的预印本。

原始来源 ↗

适用范围与限制

实验研究面向智能体规划的移动应用屏幕预测。

相关术语:ViMo、GUI 世界模型、下一屏幕预测、移动应用仿真

阅读方法比较 · 阅读评测指南

引用这篇论文

arXiv 预印本

BibTeX · CSL-JSON · JSON 记录

请引用实际使用的版本。