论文导读

AndroidWorld: A Dynamic Benchmarking Environment for Autonomous Agents

Christopher Rawles, Sarah Clinckemaillie, Yifan Chang, Jonathan Waltz, Gabrielle Lau, Marybeth Fair, Alice Li, William Bishop, Wei Li, Folawiyo Campbell-Ajala, Daniel Toyama, Robert Berry, Divya Tyamagundlu, Timothy Lillicrap, Oriana Riva

首个 arXiv 版本：2024-05-23 · ICLR 2025

提供功能完整的 Android 环境，包含参数化任务和对设备状态的程序化检查。

论文原文 ↗

研究贡献与问题设置

将任务初始化、成功检查和环境清理与可变任务实例结合，使移动端智能体评估可复现，并减少对固定测试集的依赖。

模型输出

Android 环境中的观测和任务奖励。

动作接口

在 Android 设备环境中执行的智能体动作。

状态与记忆

Android 系统和应用程序维护状态，评估器直接检查这些状态。

与 NeuralOS 的联系

提供用于评估移动端智能体的 Android 任务和结果检查。

原始来源 ↗

适用范围与限制

该基准覆盖 Android 应用，采用参数化任务和程序化成功检查。

相关术语：AndroidWorld、移动端智能体、GUI 评估、任务成功率

阅读方法比较 · 阅读评测指南