论文导读
OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments
首个 arXiv 版本： · NeurIPS 2024
提供真实计算机环境和可复现任务，覆盖桌面应用、网站和文件操作。
研究贡献与问题设置
将任务初始化与基于执行结果的评估器配套，让智能体通过真实软件完成工作流程，评估实际结果，而非匹配固定的动作序列。
- 模型输出
- 来自真实计算机环境的观测和评估结果。
- 动作接口
- 通过基准支持的动作接口与计算机交互。
- 状态与记忆
- 环境使用的真实操作系统和应用程序负责保存状态。
与 NeuralOS 的联系
提供用于评估计算机使用智能体的桌面任务和结果检查。
适用范围与限制
评估对象是真实桌面应用、网站和文件中的工作流程。
相关术语：OSWorld、计算机使用智能体、基于执行结果的评估、桌面任务基准
引用这篇论文
正式发表版本
Tianbao Xie, Danyang Zhang, Jixuan Chen, Xiaochuan Li, Siheng Zhao, Ruisheng Cao, Toh Jing Hua, Zhoujun Cheng, Dongchan Shin, Fangyu Lei, Yitao Liu, Yiheng Xu, Shuyan Zhou, Silvio Savarese, Caiming Xiong, Victor Zhong, Tao Yu. OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments. Advances in Neural Information Processing Systems, 2024.
arXiv 预印本
请引用实际使用的版本。