这项由美国伊利诺伊大学厄巴纳-香槟分校（UIUC）与微软研究院联合开展的研究，，，，于2026年6月宣布在预印本平台arXiv上，，，，论文编号为arXiv:2606.02031。。。。有兴趣深入相识的读者可以通过该编号盘问完整论文。。。。 天天，，，，全球有数十亿人翻开浏览器，，，，在网页上搜索商品、填写表单、比价购物、查阅信息。。。。这些操尴尬刁难人类来说万无一失，，，，但对AI来说，，，，却是一座难以翻越的山。。。。网页是动态的、杂乱的、充满弹窗和验证码的，，，，并且每隔一段时间就会改版——这对需要"看懂网页、点对地方、完成使命"的AI智能体来说，，，，简直是恶梦般的训练场。。。。 现在最厉害的网页AI智能体，，，，基本都掌握在OpenAI、Google这样的科技巨头手中，，，，属于差池外果真训练细节的"黑箱系统"。。。。？？？？瓷缜淙灰苍谄鹁，，，，但普遍依赖一种叫做"监视学习"的方法——也就是先网络大宗人类操作网页的树模录像，，，，再让AI模拟。。。。这种方法有个致命短板：录像拍摄既腾贵又费时，，，，并且录制完成的一刻起就最先"过时"，，，，基础跟不上互联网日新月异的转背叛奏。。。。 正是在这样的配景下，，，，UIUC与微软的研究团队决议另辟蹊径。。。。他们的焦点思绪是：与其让AI死记硬背人类的操作树模，，，，不如让AI直接在真实网站上"自己去试"，，，，从乐成和失败中学习。。。。这个偏向被称为"在线强化学习"，，，，关于视觉化的网页智能体来说，，，，它此前险些照旧一片空缺地带。。。。 研究团队将这套完整的训练框架命名为OpenWebRL，，，，并在此基础上训练出了一个4B参数规模的模子OpenWebRL-4B。。。。这个模子仅凭400条初始树模轨迹和2200个在线训练使命，，，，就在三个顶级网页智能体测评基准上刷新了开源最高分，，，，部分指标甚至逾越了OpenAI和Google的商业系统。。。。 一小我私家学骑自行车，，，，会从摔倒中体验到平衡的主要性，，，，并在下次调解姿势。。。。这个反响是即时的、清晰的。。。。但让AI在网页上学习完成使命，，，，面临的反响情形要重大得多。。。。网页是活的——今天还能正常显示的按钮，，，，明天可能被移走；；；；；
；；今天能跑通的登录流程，，，，明天可能多了一道验证码；；；；；
；；某些网站会把频仍的自动化操作识别为"机械人"并直接封闭会见。。。。这些都是"情形噪声"，，，，很容易让AI误以为是自己做错了，，，，从而学偏。。。。 更难的问题在于：网页使命的"乐成与否"往往要比及整个使命完成后才华判断。。。。你无法在AI点击第三个按钮的时间告诉它"这一步做得对"，，，，只能在它最终回覆出"这款鞋的最低价是299元"之后，，，，才华评判整个历程对差池。。。。这种"事后才知道效果"的反响机制，，，，对逊с法的设计提出了很高的要求。。。。 与此同时，，，，视觉信息的处置惩罚价钱极高。。。。每一步操作，，，，AI都要"看"一张网页截图——这张截图可能包括数百个元素，，，，消耗大宗盘算资源。。。。若是每一步历史截图都保保存AI的"影象"中，，，，一个30步的使命轨迹甚至会凌驾大大都模子的上下文承载上限。。。。 研究团队在论文中系统性地梳理了这些挑战，，，，并为每一个挑战设计了详细的解决计划，，，，这些计划配合组成了OpenWebRL框架的焦点。。。。 可以把这套系统明确为给AI搭建了一个"沙盒游乐场"——每个训练使命都在自力的虚拟浏览器窗口中运行，，，，互不滋扰，，，，就像每位学员都有自己专属的训练跑道，，，，不会由于别人的失误影响自己。。。。这套基础设施基于Playwright和Chromium构建，，，，运行在Kubernetes容器化情形中，，，，支持上百个浏览器实例同时并行运作。。。。 但真实网页的贫困在于，，，，即便情形搭好了，，，，种种意外随时会爆发：某个网站加载太慢、某次网络请求超时、某页面突然弹出验证码、某个按钮由于反自动化机制而拒绝被点击。。。。研究团队为此设计了完善的"容错机制"——系统会自动区分"是AI做错了"照旧"是网站出问题了"，，，，并将失败缘故原由详细纪录下来，，，，以便后续剖析。。。。关于那些重复泛起网络故障的网站，，，，系统还会自动将其列入黑名单，，，，阻止训练资源铺张在基础无法会见的地点上。。。。 仅靠截图，，，，AI很难知道自己的操作是否真的生效了。。。。点了一个按钮之后，，，，页面可能看起来没什么转变，，，，但现实上可能已经悄悄导航到新页面、或者填写进去的内容基础没被接受。。。。 OpenWebRL解决这个问题的方法，，，，是给每一次操作都附上一条"文字反响"，，，，相当于给AI配备了一个实时助理，，，，在它每次操作后私语提醒："适才你点的谁人按钮乐成了，，，，页面跳转到了xxx"，，，，或者"你输入的文字和现实接受的内容纷歧致，，，，注重看"。。。。这条文字反响是通太过析操作前后的网页DOM树（网页结构树）转变来天生的，，，，内容精练但信息密度高。。。。 这条反响的主要性在后续实验中获得了明确验证——去掉这个文字反响，，，，AI在多个基准测试上的乐成率会下降5到8个百分点。。。。尤其是在需要多步操作的长程使命中，，，，少了这个反响，，，，AI就像在黑漆黑探索，，，，很容易在一个已经失败的操作上重复纠缠，，，，或者没意识到某个要害办法已经蜕化。。。。 OpenWebRL为AI配备了一套由13个基础操作工具组成的工具箱，，，，涵盖鼠标点击（单击、双击、右键）、键盘输入、页面转动、网址跳转、前进退却、标签页治理，，，，以及最主要的"完成并报告"操作——这是AI告诉系统"使命做完了，，，，我的谜底是xxx"的唯一方法。。。。 更有趣的是，，，，AI每次不需要只挪用一个工具。。。。研究团队允许AI在一次"思索-行动"周期中一连挪用多个工具。。。。好比，，，，AI可以在一次输出中同时完成"点击搜索框、输入要害词、按回车"这三个一连行动，，，，而不需要履历三次"截图→思索→操作→期待截图"的完整循环。。。。这个设计大大提高了训练效率，，，，镌汰了不须要的模子与情形之间的往返交互。。。。 一个30步的网页操作使命，，，，若是把每一步的截图都保保存AI的影象中，，，，数据量之大足以撑爆大大都模子的上下文限制。。。。研究团队的解决计划既精练又高效：只保存最近一张截图，，，，但完整保存历史文字信息。。。。 原理着实很质朴：人在做重大使命时，，，，不需要同时盯着之前每一步的操作界面，，，，只需要记着之前做了什么、效果怎样，，，，以及目今屏幕上看到的内容就够了。。。。AI也是云云。。。。历史截图被扬弃，，，，但每一步的操作纪录、情形反响和AI自己的"思索历程"都完整保存，，，，作为文字形式的"事情影象"。。。。 实验效果批注，，，，只保存最近一张截图（K=1）与保存最近两张相比，，，，效果险些没有差别，，，，但盘算本钱却显著降低——保存两张截图会让训练时长从约240 GPU小时增添到400 GPU小时。。。。这个发明告诉我们，，，，在多模态智能体的长程使命中，，，，语言影象的价值往往比视觉历史更为要害。。。。 OpenWebRL的训练分为两个阶段，，，，这两个阶段的设计思绪，，，，很像人类学习新手艺的经典路径：先随着先生学基本功，，，，再自力上场实战提升。。。。 第一阶段是"监视微调"，，，，也就是让AI先模拟能手操作。。。。研究团队使用Qwen3-VL-235B（一个拥有2350亿参数的超大模子，，，，可以明确为行业顶尖水平的"先生"）来完成一批网页使命，，，，筛选出乐成的轨迹，，，，然后从中全心挑选412条最具代表性的轨迹，，，，让4B的小模子来模拟学习。。。。 之以是只选412条而不是用几十万条，，，，是有深图远虑的理由的。。。。研究团队发明，，，，若是喂太多树模数据，，，，小模子会把先生的操作气概学得过于死板，，，，反而在后续的实战训练中缺乏"可塑性"，，，，难以被进一程序整优化。。。。就像一个从小被逼着照本宣科的学生，，，，反而不如谁人只学了基来源则、但保存了自主探索能力的学生前进更快。。。。 实验中，，，，研究团队比照了四种差别的初始化方法：完全不做监视训练、少量训练1轮、适量训练3轮，，，，以及大宗数据训练3轮。。。。效果发明，，，，适量的监视预热（412条数据、3轮训练）带来的后续强化学习效果最好，，，，而大宗数据预热反而会拖累最终体现。。。。这个结论有主要的实践指导意义：初始化的目的是"让AI能最先探索"，，，，而不是"把AI调教成一个完善的模拟者"。。。。 每次训练，，，，系统会给AI统一个使命，，，，让它自力实验5次（一组），，，，天生5条差别的操作轨迹。。。。有些轨迹乐成完成了使命，，，，有些失败了。。。。系统随后盘算这5次实验的平均乐成率，，，，然后告诉AI：比平均水平高的那些轨迹，，，，应该更多去模拟；；；；；
；；比平均水平低的那些轨迹，，，，应该阻止重蹈覆辙。。。。这种"组内相对较量"的方法，，，，让系统不需要一个外部的"完善标准谜底"，，，，只需要自己内部的成败比照就能一连前进。。。。 有一个细节很是值得关注：若是某个使命的5次实验效果完全一样（好比所有乐成或所有失败），，，，这组数据会被直接扬弃，，，，不加入训练更新。。。。原理很简朴——所有乐成意味着这个使命太简朴，，，，AI已经掌握了；；；；；
；；所有失败意味着这个使命目今太难，，，，暂时无法从中学到有用信号。。。。只有那些"有时乐成、有时失败"的使命，，，，才华提供最有价值的学习素材。。。。这相当于为AI自动构建了一个难度适中的动态课程。。。。 训练接纳了"两阶段转动步长"的战略：先用最多15步的短程使命训练90轮，，，，让模子在较短的使命中建设基础探索能力，，，，再切换到最多30步的长程使命再训练50轮，，，，让模子学会应对真正的长程妄想挑战。。。。实验批注，，，，这种由短到长的课程式训练，，，，比一最先就直接上30步使命的效果要好得多，，，，尤其在WebVoyager这个需要较多办法的基准上，，，，差别高达7.4个百分点。。。。 一些使命可以用规则判断，，，，好比"找到这款手机的最低价钱"，，，，只要核对数字就行。。。。但许多使命的评判需要明确语义，，，，好比"找到一家评分最高且离我最近的五星级牙医"，，，，谜底可能因网页状态差别而有合理差别，，，，不是简朴比照字符串就能判断对错的。。。。 研究团队的默认计划是用GPT-4.1作为"评判官"，，，，但这会爆发显著的用度：一次完整的训练实验需要挪用约4.32万次GPT-4.1评判API，，，，总用度约545.5美元。。。。关于许多学术研究组来说，，，，这是不小的肩负。。。。 为相识决这个问题，，，，研究团队专门从1.25万条带有GPT-4.1评判标签的真实轨迹数据中，，，，蒸馏训练出了一个8B规模的开源评判模子OpenWebRL-Judge-8B。。。。实验证实，，，，这个评判模子与GPT-4.1的判断吻合度高达89.8%，，，，综合F1分数抵达92.1%，，，，逾越了WebJudge-7B、Qwen3-VL-32B甚至GPT-4o等竞争者。。。。用这个外地评判模子替换GPT-4.1之后，，，，最终模子的性能险些没有损失，，，，平均乐成率从68.4%仅微降到68.3%——险些可以忽略不计。。。。 研究团队还比照了直接用Qwen3-VL-8B（未经专门训练的通用模子）作为评判官的效果，，，，效果令人小心：训练奖励分数看起来越来越高，，，，但现实测试乐成率却在一连下滑——这是典范的"奖励诱骗"征象，，，，AI学会了怎样让评判官知足，，，，而不是真正完成使命。。。。这进一步说明，，，，专门训练的评判模子关于整个训练系统的稳固性至关主要。。。。 WebVoyager是一个笼罩15个主流网站的综合型基准，，，，共595个使命；；；；；
；；Online-Mind2Web则包括136个网站的300个长程使命，，，，难度更高；；；；；
；；DeepShop专注于电商购物场景，，，，要求AI在多重约束下完成商品搜索与选择，，，，共150个使命。。。。 OpenWebRL-4B在这三个基准上划分取得了74.1%、67.0%和64.0%的乐成率，，，，平均乐成率68.4%，，，，成为一律规模？？？？茨Ｗ又械淖罡咚。。。。横向比照来看，，，，它不但大幅逾越了FARA-7B（后者在Online-Mind2Web和DeepShop上划分只有34.1%和26.2%）、MolmoWeb-8B（35.3%和42.3%），，，，甚至逾越了拥有2350亿参数的Qwen3-VL-235B-A22B。。。。更值得关注的是，，，，OpenWebRL-4B在Online-Mind2Web和DeepShop两个基准上还压过了商业系统OpenAI CUA（58.3%和24.7%）和GPT-5的SoM版本（57.7%和49.1%）。。。。 这些效果的获得，，，，仅使用了412条初始树模轨迹和2200个强化学习训练使命，，，，而竞争敌手如MolmoWeb则使用了凌驾27.85万条数据——相差了整整两个数目级。。。。这批注，，，，高质量的在线交互逊带来的提升，，，，完全可以填补初始数据量上的重大差别。。。。 一个有趣的发明是：随着训练的推进，，，，AI每一步的输出确实变长了，，，，但总体使命完成所需的办法数却在镌汰——平均步数从第0轮的14步下降到了第80轮的8.9步，，，，整个轨迹的总长度也响应缩短。。。。这说明AI并不是在无效地"啰嗦"，，，，而是在更少的办法内做更充分的思索。。。。 研究团队对AI的思索内容举行了深入剖析，，，，界说了四种常见的"头脑模式"：历史总结（回首之前做过什么、去过哪些页面、什么要领失败了）、障碍诊断（发明验证码、页面封闭等阻挡）、重试妄想（制订新的替换战略）和条件验证（逐一核查使命要求是否知足）。。。。 训练前后，，，，这四种模式的泛起频率都有显著提升：历史总结的泛起率从14.5%提升到21.4%，，，，障碍诊断从14.2%提升到23.7%。。。。并且，，，，泛起这些头脑模式的办法，，，，其响应长度增添更为显著，，，，从平均332 token增添到542 token（历史总结），，，，从273增添到440（障碍诊断）；；；；；
；；相比之下，，，，不包括这些模式的通俗办法，，，，长度增添很是有限（从282增添到325）。。。。 这说明AI学会了"有选择地深度思索"：在要害决议节点上投入更多认知资源，，，，而不是匀称地在每一步上平摊思索量。。。。这种行为模式与人类专家的认知方法高度吻合——遇到卡点时深度剖析，，，，熟悉操作时快速执行。。。。 说究竟，，，，OpenWebRL证实晰一件在AI研究领域颇具争议的事：关于网页智能体这类需要在重大、动态情形中做长程决议的使命，，，，"让AI在真实天下里边做边学"不但是可行的，，，，并且比"堆砌大宗人类树模数据"要高效得多。。。。 这对通俗用户意味着，，，，未来我们可能会看到更多能真正明确网页、完成重大在线使命的AI助手，，，，而这些AI不再需要依赖科技巨头掌握的海量私有数据，，，，而是可以通过开放的框架和有限的初始训练，，，，在果真的互联网上一连自我提升。。。。 从研究自己的局限性来看，，，，有51%的失败案例源于网页自己的会见问题——验证码封闭、网络毗连失败、反自动化机制等——这些都不是模子能力的问题，，，，而是开放互联网上AI智能体必需面临的基础设施挑战。。。。另外27%的失败来自模子在长程多约束使命中的妄想和跟踪能力缺乏，，，，13%来自视觉定位的精度问题。。。。这些偏向，，，，也正是接下来研究起劲的重心所在。。。。 研究团队已宣布将果真宣布训练数据、模子权重和完整代码，，，，让学术界和自力研究者都能在此基础上继续探索。。。。对视觉AI、智能体手艺或强化学习感兴趣的读者，，，，可以通过arXiv编号2606.02031找到这篇完整论文，，，，或者会见项目主页openwebrl.github.io获取更多资源。。。。 A：这主要归功于在线强化学习的训练方法。。。。OpenWebRL-4B不是靠死记硬背人类树模来学习，，，，而是在真实网站上自己下手做使命，，，，从乐成和失败的效果中总结履历。。。。400条数据只是用于"打基础"的初始监视训练，，，，真正让模子突飞猛进的是后续2200个使命的在线实战训练。。。。简朴说，，，，质量高的真实交互履历，，，，比数目大的静态树模数据更有学习价值。。。。 A：两者的评判准确率很是靠近，，，，但本钱差别重大。。。。用GPT-4.1作评判官，，，，一次完整训练需要破费约545美元的API用度；；；；；
；；而OpenWebRL-Judge-8B是一个可以外地运行的开源模子，，，，训练完成后不需要特殊付费。。。。更主要的是，，，，实验证实用GPT-4.1训练出来的模子和用OpenWebRL-Judge-8B训练出来的模子，，，，最终测评效果险些完全相同，，，，平均乐成率仅差0.1个百分点。。。。 A：由于截图的信息量极大，，，，生涯所有历史截图会凌驾模子的处置惩罚上限。。。。实验发明，，，，保存最近两张截图和只保存一张相比，，，，效果险些没有差别，，，，但盘算本钱从240 GPU小时增添到400 GPU小时。。。。AI真正需要的"历史影象"，，，，着实通过生涯每步的文字反响和AI自己的推理纪录就已经足够，，，，这些文字信息比历史截图更紧凑、更高效地转达了要害信息。。。。