古板的CUA主要依赖原子化GUI操作，，，，，，例如点击、输入、拖拽、转动。。。。。。这类操作泛化性强，，，，，，只要界面上能看到按钮，，，，，，理论上模子就能点；；；；；但它也有显着短板：办法长、误差容易累积，，，，，，在重大使命中很容易泛起cascading errors。。。。。。 相反，，，，，，tool calls或API-based operations往往更高效、更准确。。。。。。例如在LibreOffice里批量处置惩罚表格，，，，，，GUI-only计划可能需要一串冗长的菜单点击和参数设置，，，，，，而工具挪用可能一个API就能完成。。。。。。 在hybrid GUI-Tool action space中，，，，，，Agent每一步都站在一个岔路口：左边是GUI，，，，，，右边是Tool。。。。。。GUI泛化强但慢，，，，，，Tool快但依赖笼罩与上下文条件。。。。。。若是模子缺少路径选择能力，，，，，，就会泛起两类典范失败: 最后，，，，，，系统不会简朴地把所有GUI操作都替换成工具，，，，，，而是随机采样部分工具挪用，，，，，，再替换回对应GUI子序列，，，，，，形成多种GUI与Tool交织的轨迹。。。。。。 其中，，，，，，R_fmt和R_acc划分是标准名堂奖励与使命乐成奖励；；；；；R_tool和R_length则是ToolCUA专门设计的两项轨迹级奖励，，，，，，并且它们只在乐成轨迹上激活，，，，，，阻止模子从失败执行里学到过失偏好。。。。。。 在数据构建时，，，，，，每个使命会带一个task-level的tool-beneficial标记：t_b = 1体现这个使命适适用工具，，，，，，t_b = -1体现这个使命不适适用工具。。。。。。与此同时，，，，，，c体现整条轨迹里的tool calls数。。。。。。 它要解决的正是前面提到的hybrid confusion：有些模子显着该用工具却不必，，，，，，有些模子则在不应用的时间乱用。。。。。。R_tool的作用，，，，，，就是把工具是否合适这件事从使命乐成里单独拎出来训练。。。。。。 这样设计的利益是，，，，，，模子会自然倾向于探索更短的乐成路径。。。。。。而在许多场景里，，，，，，更短的路径恰恰意味着：用一个高层工具替换一长串冗余GUI操作。。。。。。因此，，，，，，R_length实质上是在勉励模子发明更高效的GUI-Tool execution path。。。。。。 以是，，，，，，这一阶段的焦点并不是让模子挪用更多工具，，，，，，而是让它学会两件事：什么时间工具真的合适，，，，，，什么时间这条执行路径真的更短。。。。。。 ToolCUA主要在OSWorld-MCP上评测。。。。。。这个benchmark在古板OSWorld的基础上引入了hybrid GUI-Tool action space，，，，，，笼罩典范GUI actions、150+ tools和主流桌面应用，，，，，，适合权衡模子在真实混淆行动空间中的执行能力。。。。。。 同样在rl_dynamics里可以看到，，，，，，去掉R_tool和R_length后，，，，，，只保存标准的R_acc与R_fmt，，，，，，accuracy曲线会显着更不稳固，，，，，，在训练step8-11左右泛起下降，，，，，，最终与完整ToolCUA之间有约莫7个点的差别。。。。。。 这个案例展示的不是工具永远比GUI好，，，，，，而是: 当使命焦点是结构化表格操作时，，，，，，Tool可以绕过懦弱的逐步GUI导航，，，，，，用更确定的方法完成使命。。。。。。 接下来，，，，，，更值得继续和推进的偏向，，，，，，是构建更大规模的CUA工具，，，，，，训练更大规模的CUA基座模子，，，，，，让CUA原生具有hybrid actions的能力，，，，，，更好地解决人类重大问题。。。。。。