把世界搬进沙箱：RL 之前的造环境运动

MyPCBench 的 bounded_action-f041，step 53 要做的是「Book an airport ride」：在打车应用里替用户订一辆去机场的车。这种任务练 RL，注定要反复失败、反复重来。

真实世界一次重来都不白给。第 4 讲伴读在轨迹数据一节收尾时说，分布偏移的洞「正是下一讲强化学习要补的」；本篇补的是 RL 开工前的那个前提：世界得先被改造过。

2026 年的 CUA 训练线，先动手的是环境，新算法排在后面。本篇沿 slides L7 p.59-74 走完这条流水线：攒演示数据，把 gym 协议装进浏览器与桌面，再让一群 agent 互相搭台、互相审计。

一、RL 要三样东西，真实世界一样不给

讲义 L7 p.59/74 把 CUA 训练画成三阶段。前两段对世界的要求很温和，预测与克隆消费静态记录，攒够数据就能开工：

• Pre-training：在海量截图上做 UI 元素与动作预测，界面上有什么、下一步是 click、type 还是 swipe。代表工作 OS-Atlas，2025。
• SFT（Supervised Fine-Tuning，监督微调）：用人类演示加合成轨迹做行为克隆（behavior cloning）。
• RL：rollout 加 reward，前者在环境里滚动采样轨迹，后者按结果打分。

硬门槛全压在第三段。RL 的学习信号靠循环产生，跑一条轨迹，打个分，重置，再跑；循环向世界要三样东西，允许反复尝试、奖励干净可判、状态随时可重置。真实世界三件都给不了，L7 p.65 列了三堵墙：

• 真钱：重复尝试产生重复付费订单。失败重跑，一张张账单都是真的。
• 真人：订车会真派司机。环境状态里坐着活人，每条 rollout 都在消耗别人的时间。
• 无干净重置：取消可能收费，时间不可恢复。有些状态转移是单向的，rewind 键不存在。

开场的 bounded_action-f041 三堵墙全占：付真钱、派真司机、时间窗口不可逆，一个不缺。

要 RL，先把世界搬进沙箱。

二、先攒燃料：演示数据的四年换代

造环境之前先看燃料。SFT 段吃的轨迹数据，从 2023 到 2026 四年间完成了一次来源换代，L7 p.62 画出了这条时间线：

规模上看，数据从 Mind2Web 的网页标注起步，AITW 攒到 715K，AndroidControl 有 15,283 条演示，AgentNet 到 22,625 条轨迹、平均每条 18.6 步，练的就是长轨迹。

结构上看，2026 年的 MolmoWebMix 是分水岭：36K 条人工加 105K 条合成，人工从主力退位成种子，放大交给合成。这与 RLVR（Reinforcement Learning with Verifiable Rewards，可验证奖励强化学习）的叙事首尾呼应，敢用合成数据放大，前提是奖励能机器判。

下游的成绩单来自 OpenCUA（2025；L7 p.61）：OpenCUA-72B 在 OSWorld-Verified 上拿到 45.0%，开源 SOTA。攒轨迹、训开源模型，这条路能喂出旗舰。

它也把问题递给下一节：再多演示也只覆盖正确状态，恢复行为要靠 RL，而 RL 要环境。

三、CUA-Gym：给计算机装上 gym 协议

环境工厂的第一代产品是 CUA-Gym（2026；L7 p.66-69）：94 个 mock web（仿造网页）应用，加 16 个桌面应用，共 110 个环境。

每个环境实现 gym 三件套：注入初始态、检查终态、每会话重置。教科书里 gym 接口管平衡杆小游戏的那套协议，就这样原样搬进了浏览器与桌面。

数字账本：这套环境验证出 32,112 条 RLVR 元组，其中 38% 跨应用。一个任务要穿过多个应用才能完成，练的就是伴读说的走不远。

训练路径最能说明环境的兑换率。只用 3,578 条 SFT 演示起步，在环境里滚出 10,858 条 RLVR 元组，其上做 GSPO 训练，OSWorld 从 62.2% 抬到 72.6%（OSWorld-Verified、100 模型步）。

三堵墙的拆法全靠 mock：订单是假单，司机不存在，reset 是一次干净的数据回滚。

四、Gym-Anything：造环境本身成了多智能体任务

第二代把野心写进代号。Gym-Anything / CUA-World（2026；L7 p.70-73）不再手写 mock，直接真实安装 200 款软件。造环境这件最苦的差事，交给多智能体流水线，两条机制并行。

机制一是创建↔审计（creation↔audit）：creation agent 负责搭环境、配奖励；一个独立的 audit agent 验证环境与奖励是否一致。环境 - 奖励一致性检验由独立于创建方的 audit agent 背书，不再靠论文作者的自觉。

机制二是任务 propose+amplify：从种子任务出发，agent 提议变体、放大数量，再过滤掉奖励不可靠的。

产出规模：12,103 个任务，覆盖 22/22 个 SOC 职业组（SOC，Standard Occupational Classification，美国标准职业分类）。

从设计师的绘图软件到前台的排班系统，「任何软件皆环境」从口号落成了安装清单。

环境质量最终要兑换成模型能力，看蒸馏（distillation）实验：把 K2.5 在这套环境里跑出的约 2,000 条轨迹蒸给 Qwen3-VL-2B-Thinking，checklist 评分从 12.7 涨到 22.5，满分 100；完美通过率从 1.6% 到 4.4%，judge 是 Gemini 3 Flash。

绝对值仍低，方向说得清楚：覆盖到专业长尾的环境，才教得出小模型那些只有界面、别无入口的技能。

把 Gym-Anything 摆到 CUA-Gym 对面，两条路线的分歧就是一场正面辩论：

两条路线难分胜负，押注不同而已：想要多大的世界，就要付多大的验证账。

第二代真正的进步，是创建↔审计把验证变成了流程：环境会不会说谎这件事，从论文附录进了流水线，成了一个工位。

与本讲的连接

RL 开工前，得先有人替它付掉真钱、真人、不可逆这三笔账；2026 年，这笔账被做成了基础设施，甚至是多智能体任务本身。姊妹篇的线头也在这里收拢：

• long-horizon-tax 讲走不远，38% 跨应用元组就是练长程的器材。
• action-vs-outcome 讲量什么，环境工厂的终态检查就是 outcome 评估的工程化。

往下读 4b 的 loss-mask 与轨迹经济学之前，记住一个数：沙箱就位，OSWorld 62.2% 到 72.6%。