论文导读

Code2World: A GUI World Model via Renderable Code Generation

Yuhao Zheng, Li'an Zhong, Yi Wang, Rui Dai, Kaikui Liu, Xiangxiang Chu, Linyuan Lv, Philip Torr, Kevin Qinghong Lin

首个 arXiv 版本: · arXiv

通过生成可渲染代码来预测 GUI 的下一视觉状态,并评估预测结果是否有助于移动端智能体导航。

研究贡献与问题设置

构建配对的屏幕、动作和代码数据,使用渲染后的视觉反馈训练模型,兼顾界面外观和动作一致性。

模型输出
可渲染的界面代码,经渲染得到预测的下一屏幕。
动作接口
当前 GUI 观测和一个候选交互,通过动作描述与视觉提示输入模型。
状态与记忆
预测以当前屏幕和动作为条件;输出界面由可渲染的结构表示。

与 NeuralOS 的联系

Code2World 在第 2.2 节和参考文献中引用 NeuralOS。

原始来源 ↗

适用范围与限制

使用生成代码和浏览器,为 Android 导航预测屏幕。

相关术语:Code2World、GUI 世界模型、可渲染代码、下一屏幕预测、AndroidCode

阅读方法比较 · 阅读评测指南

引用这篇论文

arXiv 预印本

BibTeX · CSL-JSON · JSON 记录

请引用实际使用的版本。