论文导读
Code2World: A GUI World Model via Renderable Code Generation
首个 arXiv 版本: · arXiv
通过生成可渲染代码来预测 GUI 的下一视觉状态,并评估预测结果是否有助于移动端智能体导航。
研究贡献与问题设置
构建配对的屏幕、动作和代码数据,使用渲染后的视觉反馈训练模型,兼顾界面外观和动作一致性。
- 模型输出
- 可渲染的界面代码,经渲染得到预测的下一屏幕。
- 动作接口
- 当前 GUI 观测和一个候选交互,通过动作描述与视觉提示输入模型。
- 状态与记忆
- 预测以当前屏幕和动作为条件;输出界面由可渲染的结构表示。
与 NeuralOS 的联系
Code2World 在第 2.2 节和参考文献中引用 NeuralOS。
适用范围与限制
使用生成代码和浏览器,为 Android 导航预测屏幕。
相关术语:Code2World、GUI 世界模型、可渲染代码、下一屏幕预测、AndroidCode
引用这篇论文
arXiv 预印本
请引用实际使用的版本。