怎样评测可学习的计算机环境？
评测可学习的计算机环境，需要分别检查画面质量、动作响应、跨时间的状态保持和任务完成情况。看起来合理的屏幕，不等于正确执行了输入，也不等于完成了真实任务。
画面质量与操作响应
先确定评测单位：单步画面预测、固定动作序列下的预测、用户自由交互，还是智能体驱动的任务执行。在交互过程中，后续输入取决于此前生成的画面，因此这些设置测量不同的能力。
视觉评测应包括文字可读性、几何稳定性与小控件细节。操作响应应比较同一位置的点击与不点击、相邻控件之间的不同操作，以及按键是否影响预期对象。这些对照区分真实的动作影响与看起来合理的连续画面。
NeuralOS 报告鼠标位置与状态转移测量，其修订版还包含人类感知实验。GameNGen 也通过人类判断评估生成序列的外观。NeuralOS 实验 · GameNGen。
离开画面后，状态是否还在？
设计依赖不可见历史的交互：创建内容，离开当前窗口，再返回；或者在两个窗口之间切换。改变信息离开视野的时长，同时检查目标状态是否保存、无关内容是否发生变化。
模型的记忆容量、训练上下文长度与实际保持状态的时长是不同量。NeuralOS 的长时依赖分析讨论了训练窗口与早期状态保留的关系。长时依赖讨论。
真实环境中的任务结果
Tianbao Xie 等人于 2024 年 4 月提出 OSWorld，为真实桌面任务提供初始状态设置与基于执行结果的评测。文件内容和应用状态能够独立于智能体的成功描述被检查。OSWorld。
Christopher Rawles 等人于 2024 年 5 月提出 AndroidWorld，为 Android 应用提供任务初始化、程序化成功检查与清理流程。可变化的任务参数用于测试不同实例下的鲁棒性。AndroidWorld。
两者运行真实软件，由操作系统和应用维护状态。这些任务与检查方式为评价学习到的模拟器提供参照；模拟器中的成功画面仍需与真实执行结果区分。
阅读实验时记录什么？
- 目标与设置：应用版本、初始状态、输入表示、模型版本，以及训练与测试的划分。
- 交互过程：动作序列或智能体策略，每一步可见的反馈，以及生成画面是否参与后续决策。
- 测量指标：分别报告视觉质量、动作效果、状态保持、任务结果、延迟与失败率。
- 比较方式：训练数据、控制接口、适配过程与不同系统之间实际改变的组件。
- 覆盖范围：交互长度、任务种类，以及评测能够检查的系统状态。
NeuralOS 与 DIAMOND 的桌面对比同时说明了适配和训练方法，应结合这些设置理解结果。NeuralOS 附录。