这项由美国伊利诺伊大学厄巴纳-香槟分校（UIUC）与微软研究院联合开展的研究，，，于2026年6月宣布在预印本平台arXiv上，，，论文编号为arXiv:2606.02031。。。有兴趣深入相识的读者可以通过该编号盘问完整论文。。。 天天，，，全球有数十亿人翻开浏览器，，，在网页上搜索商品、填写表单、比价购物、查阅信息。。。这些操尴尬刁难人类来说万无一失，，，但对AI来说，，，却是一座难以翻越的山。。。网页是动态的、杂乱的、充满弹窗和验证码的，，，并且每隔一段时间就会改版——这对需要"看懂网页、点对地方、完成使命"的AI智能体来说，，，简直是恶梦般的训练场。。。 现在最厉害的网页AI智能体，，，基本都掌握在OpenAI、Google这样的科技巨头手中，，，属于差池外果真训练细节的"黑箱系统"。。？
？
？瓷缜淙灰苍谄鹁，，，但普遍依赖一种叫做"监视学习"的方法——也就是先网络大宗人类操作网页的树模录像，，，再让AI模拟。。。这种方法有个致命短板：录像拍摄既腾贵又费时，，，并且录制完成的一刻起就最先"过时"，，，基础跟不上互联网日新月异的转背叛奏。。。 正是在这样的配景下，，，UIUC与微软的研究团队决议另辟蹊径。。。他们的焦点思绪是：与其让AI死记硬背人类的操作树模，，，不如让AI直接在真实网站上"自己去试"，，，从乐成和失败中学习。。。这个偏向被称为"在线强化学习"，，，关于视觉化的网页智能体来说，，，它此前险些照旧一片空缺地带。。。 研究团队将这套完整的训练框架命名为OpenWebRL，，，并在此基础上训练出了一个4B参数规模的模子OpenWebRL-4B。。。这个模子仅凭400条初始树模轨迹和2200个在线训练使命，，，就在三个顶级网页智能体测评基准上刷新了开源最高分，，，部分指标甚至逾越了OpenAI和Google的商业系统。。。 一小我私家学骑自行车，，，会从摔倒中体验到平衡的主要性，，，并在下次调解姿势。。。这个反响是即时的、清晰的。。。但让AI在网页上学习完成使命，，，面临的反响情形要重大得多。。。网页是活的——今天还能正常显示的按钮，，，明天可能被移走；；；今天能跑通的登录流程，，，明天可能多了一道验证码；；；某些网站会把频仍的自动化操作识别为"机械人"并直接封闭会见。。。这些都是"情形噪声"，，，很容易让AI误以为是自己做错了，，，从而学偏。。。 更难的问题在于：网页使命的"乐成与否"往往要比及整个使命完成后才华判断。。。你无法在AI点击第三个按钮的时间告诉它"这一步做得对"，，，只能在它最终回覆出"这款鞋的最低价是299元"之后，，，才华评判整个历程对差池。。。这种"事后才知道效果"的反响机制，，，对逊с法的设计提出了很高的要求。。。 与此同时，，，视觉信息的处置惩罚价钱极高。。。每一步操作，，，AI都要"看"一张网页截图——这张截图可能包括数百个元素，，，消耗大宗盘算资源。。。若是每一步历史截图都保保存AI的"影象"中，，，一个30步的使命轨迹甚至会凌驾大大都模子的上下文承载上限。。。 研究团队在论文中系统性地梳理了这些挑战，，，并为每一个挑战设计了详细的解决计划，，，这些计划配合组成了OpenWebRL框架的焦点。。。 可以把这套系统明确为给AI搭建了一个"沙盒游乐场"——每个训练使命都在自力的虚拟浏览器窗口中运行，，，互不滋扰，，，就像每位学员都有自己专属的训练跑道，，，不会由于别人的失误影响自己。。。这套基础设施基于Playwright和Chromium构建，，，运行在Kubernetes容器化情形中，，，支持上百个浏览器实例同时并行运作。。。 但真实网页的贫困在于，，，即便情形搭好了，，，种种意外随时会爆发：某个网站加载太慢、某次网络请求超时、某页面突然弹出验证码、某个按钮由于反自动化机制而拒绝被点击。。。研究团队为此设计了完善的"容错机制"——系统会自动区分"是AI做错了"照旧"是网站出问题了"，，，并将失败缘故原由详细纪录下来，，，以便后续剖析。。。关于那些重复泛起网络故障的网站，，，系统还会自动将其列入黑名单，，，阻止训练资源铺张在基础无法会见的地点上。。。 仅靠截图，，，AI很难知道自己的操作是否真的生效了。。。点了一个按钮之后，，，页面可能看起来没什么转变，，，但现实上可能已经悄悄导航到新页面、或者填写进去的内容基础没被接受。。。 OpenWebRL解决这个问题的方法，，，是给每一次操作都附上一条"文字反响"，，，相当于给AI配备了一个实时助理，，，在它每次操作后私语提醒："适才你点的谁人按钮乐成了，，，页面跳转到了xxx"，，，或者"你输入的文字和现实接受的内容纷歧致，，，注重看"。。。这条文字反响是通太过析操作前后的网页DOM树（网页结构树）转变来天生的，，，内容精练但信息密度高。。。 这条反响的主要性在后续实验中获得了明确验证——去掉这个文字反响，，，AI在多个基准测试上的乐成率会下降5到8个百分点。。。尤其是在需要多步操作的长程使命中，，，少了这个反响，，，AI就像在黑漆黑探索，，，很容易在一个已经失败的操作上重复纠缠，，，或者没意识到某个要害办法已经蜕化。。。 OpenWebRL为AI配备了一套由13个基础操作工具组成的工具箱，，，涵盖鼠标点击（单击、双击、右键）、键盘输入、页面转动、网址跳转、前进退却、标签页治理，，，以及最主要的"完成并报告"操作——这是AI告诉系统"使命做完了，，，我的谜底是xxx"的唯一方法。。。 更有趣的是，，，AI每次不需要只挪用一个工具。。。研究团队允许AI在一次"思索-行动"周期中一连挪用多个工具。。。好比，，，AI可以在一次输出中同时完成"点击搜索框、输入要害词、按回车"这三个一连行动，，，而不需要履历三次"截图→思索→操作→期待截图"的完整循环。。。这个设计大大提高了训练效率，，，镌汰了不须要的模子与情形之间的往返交互。。。 一个30步的网页操作使命，，，若是把每一步的截图都保保存AI的影象中，，，数据量之大足以撑爆大大都模子的上下文限制。。。研究团队的解决计划既精练又高效：只保存最近一张截图，，，但完整保存历史文字信息。。。 原理着实很质朴：人在做重大使命时，，，不需要同时盯着之前每一步的操作界面，，，只需要记着之前做了什么、效果怎样，，，以及目今屏幕上看到的内容就够了。。。AI也是云云。。。历史截图被扬弃，，，但每一步的操作纪录、情形反响和AI自己的"思索历程"都完整保存，，，作为文字形式的"事情影象"。。。 实验效果批注，，，只保存最近一张截图（K=1）与保存最近两张相比，，，效果险些没有差别，，，但盘算本钱却显著降低——保存两张截图会让训练时长从约240 GPU小时增添到400 GPU小时。。。这个发明告诉我们，，，在多模态智能体的长程使命中，，，语言影象的价值往往比视觉历史更为要害。。。 OpenWebRL的训练分为两个阶段，，，这两个阶段的设计思绪，，，很像人类学习新手艺的经典路径：先随着先生学基本功，，，再自力上场实战提升。。。 第一阶段是"监视微调"，，，也就是让AI先模拟能手操作。。。研究团队使用Qwen3-VL-235B（一个拥有2350亿参数的超大模子，，，可以明确为行业顶尖水平的"先生"）来完成一批网页使命，，，筛选出乐成的轨迹，，，然后从中全心挑选412条最具代表性的轨迹，，，让4B的小模子来模拟学习。。。 之以是只选412条而不是用几十万条，，，是有深图远虑的理由的。。。研究团队发明，，，若是喂太多树模数据，，，小模子会把先生的操作气概学得过于死板，，，反而在后续的实战训练中缺乏"可塑性"，，，难以被进一程序整优化。。。就像一个从小被逼着照本宣科的学生，，，反而不如谁人只学了基来源则、但保存了自主探索能力的学生前进更快。。。 实验中，，，研究团队比照了四种差别的初始化方法：完全不做监视训练、少量训练1轮、适量训练3轮，，，以及大宗数据训练3轮。。。效果发明，，，适量的监视预热（412条数据、3轮训练）带来的后续强化学习效果最好，，，而大宗数据预热反而会拖累最终体现。。。这个结论有主要的实践指导意义：初始化的目的是"让AI能最先探索"，，，而不是"把AI调教成一个完善的模拟者"。。。 每次训练，，，系统会给AI统一个使命，，，让它自力实验5次（一组），，，天生5条差别的操作轨迹。。。有些轨迹乐成完成了使命，，，有些失败了。。。系统随后盘算这5次实验的平均乐成率，，，然后告诉AI：比平均水平高的那些轨迹，，，应该更多去模拟；；；比平均水平低的那些轨迹，，，应该阻止重蹈覆辙。。。这种"组内相对较量"的方法，，，让系统不需要一个外部的"完善标准谜底"，，，只需要自己内部的成败比照就能一连前进。。。 有一个细节很是值得关注：若是某个使命的5次实验效果完全一样（好比所有乐成或所有失败），，，这组数据会被直接扬弃，，，不加入训练更新。。。原理很简朴——所有乐成意味着这个使命太简朴，，，AI已经掌握了；；；所有失败意味着这个使命目今太难，，，暂时无法从中学到有用信号。。。只有那些"有时乐成、有时失败"的使命，，，才华提供最有价值的学习素材。。。这相当于为AI自动构建了一个难度适中的动态课程。。。 训练接纳了"两阶段转动步长"的战略：先用最多15步的短程使命训练90轮，，，让模子在较短的使命中建设基础探索能力，，，再切换到最多30步的长程使命再训练50轮，，，让模子学会应对真正的长程妄想挑战。。。实验批注，，，这种由短到长的课程式训练，，，比一最先就直接上30步使命的效果要好得多，，，尤其在WebVoyager这个需要较多办法的基准上，，，差别高达7.4个百分点。。。 一些使命可以用规则判断，，，好比"找到这款手机的最低价钱"，，，只要核对数字就行。。。但许多使命的评判需要明确语义，，，好比"找到一家评分最高且离我最近的五星级牙医"，，，谜底可能因网页状态差别而有合理差别，，，不是简朴比照字符串就能判断对错的。。。 研究团队的默认计划是用GPT-4.1作为"评判官"，，，但这会爆发显著的用度：一次完整的训练实验需要挪用约4.32万次GPT-4.1评判API，，，总用度约545.5美元。。。关于许多学术研究组来说，，，这是不小的肩负。。。 为相识决这个问题，，，研究团队专门从1.25万条带有GPT-4.1评判标签的真实轨迹数据中，，，蒸馏训练出了一个8B规模的开源评判模子OpenWebRL-Judge-8B。。。实验证实，，，这个评判模子与GPT-4.1的判断吻合度高达89.8%，，，综合F1分数抵达92.1%，，，逾越了WebJudge-7B、Qwen3-VL-32B甚至GPT-4o等竞争者。。。用这个外地评判模子替换GPT-4.1之后，，，最终模子的性能险些没有损失，，，平均乐成率从68.4%仅微降到68.3%——险些可以忽略不计。。。 研究团队还比照了直接用Qwen3-VL-8B（未经专门训练的通用模子）作为评判官的效果，，，效果令人小心：训练奖励分数看起来越来越高，，，但现实测试乐成率却在一连下滑——这是典范的"奖励诱骗"征象，，，AI学会了怎样让评判官知足，，，而不是真正完成使命。。。这进一步说明，，，专门训练的评判模子关于整个训练系统的稳固性至关主要。。。 WebVoyager是一个笼罩15个主流网站的综合型基准，，，共595个使命；；；Online-Mind2Web则包括136个网站的300个长程使命，，，难度更高；；；DeepShop专注于电商购物场景，，，要求AI在多重约束下完成商品搜索与选择，，，共150个使命。。。 OpenWebRL-4B在这三个基准上划分取得了74.1%、67.0%和64.0%的乐成率，，，平均乐成率68.4%，，，成为一律规？
？
？茨Ｗ又械淖罡咚。。。横向比照来看，，，它不但大幅逾越了FARA-7B（后者在Online-Mind2Web和DeepShop上划分只有34.1%和26.2%）、MolmoWeb-8B（35.3%和42.3%），，，甚至逾越了拥有2350亿参数的Qwen3-VL-235B-A22B。。。更值得关注的是，，，OpenWebRL-4B在Online-Mind2Web和DeepShop两个基准上还压过了商业系统OpenAI CUA（58.3%和24.7%）和GPT-5的SoM版本（57.7%和49.1%）。。。 这些效果的获得，，，仅使用了412条初始树模轨迹和2200个强化学习训练使命，，，而竞争敌手如MolmoWeb则使用了凌驾27.85万条数据——相差了整整两个数目级。。。这批注，，，高质量的在线交互逊带来的提升，，，完全可以填补初始数据量上的重大差别。。。 一个有趣的发明是：随着训练的推进，，，AI每一步的输出确实变长了，，，但总体使命完成所需的办法数却在镌汰——平均步数从第0轮的14步下降到了第80轮的8.9步，，，整个轨迹的总长度也响应缩短。。。这说明AI并不是在无效地"啰嗦"，，，而是在更少的办法内做更充分的思索。。。 研究团队对AI的思索内容举行了深入剖析，，，界说了四种常见的"头脑模式"：历史总结（回首之前做过什么、去过哪些页面、什么要领失败了）、障碍诊断（发明验证码、页面封闭等阻挡）、重试妄想（制订新的替换战略）和条件验证（逐一核查使命要求是否知足）。。。 训练前后，，，这四种模式的泛起频率都有显著提升：历史总结的泛起率从14.5%提升到21.4%，，，障碍诊断从14.2%提升到23.7%。。。并且，，，泛起这些头脑模式的办法，，，其响应长度增添更为显著，，，从平均332 token增添到542 token（历史总结），，，从273增添到440（障碍诊断）；；；相比之下，，，不包括这些模式的通俗办法，，，长度增添很是有限（从282增添到325）。。。 这说明AI学会了"有选择地深度思索"：在要害决议节点上投入更多认知资源，，，而不是匀称地在每一步上平摊思索量。。。这种行为模式与人类专家的认知方法高度吻合——遇到卡点时深度剖析，，，熟悉操作时快速执行。。。 说究竟，，，OpenWebRL证实晰一件在AI研究领域颇具争议的事：关于网页智能体这类需要在重大、动态情形中做长程决议的使命，，，"让AI在真实天下里边做边学"不但是可行的，，，并且比"堆砌大宗人类树模数据"要高效得多。。。 这对通俗用户意味着，，，未来我们可能会看到更多能真正明确网页、完成重大在线使命的AI助手，，，而这些AI不再需要依赖科技巨头掌握的海量私有数据，，，而是可以通过开放的框架和有限的初始训练，，，在果真的互联网上一连自我提升。。。 从研究自己的局限性来看，，，有51%的失败案例源于网页自己的会见问题——验证码封闭、网络毗连失败、反自动化机制等——这些都不是模子能力的问题，，，而是开放互联网上AI智能体必需面临的基础设施挑战。。。另外27%的失败来自模子在长程多约束使命中的妄想和跟踪能力缺乏，，，13%来自视觉定位的精度问题。。。这些偏向，，，也正是接下来研究起劲的重心所在。。。 研究团队已宣布将果真宣布训练数据、模子权重和完整代码，，，让学术界和自力研究者都能在此基础上继续探索。。。对视觉AI、智能体手艺或强化学习感兴趣的读者，，，可以通过arXiv编号2606.02031找到这篇完整论文，，，或者会见项目主页openwebrl.github.io获取更多资源。。。 A：这主要归功于在线强化学习的训练方法。。。OpenWebRL-4B不是靠死记硬背人类树模来学习，，，而是在真实网站上自己下手做使命，，，从乐成和失败的效果中总结履历。。。400条数据只是用于"打基础"的初始监视训练，，，真正让模子突飞猛进的是后续2200个使命的在线实战训练。。。简朴说，，，质量高的真实交互履历，，，比数目大的静态树模数据更有学习价值。。。 A：两者的评判准确率很是靠近，，，但本钱差别重大。。。用GPT-4.1作评判官，，，一次完整训练需要破费约545美元的API用度；；；而OpenWebRL-Judge-8B是一个可以外地运行的开源模子，，，训练完成后不需要特殊付费。。。更主要的是，，，实验证实用GPT-4.1训练出来的模子和用OpenWebRL-Judge-8B训练出来的模子，，，最终测评效果险些完全相同，，，平均乐成率仅差0.1个百分点。。。 A：由于截图的信息量极大，，，生涯所有历史截图会凌驾模子的处置惩罚上限。。。实验发明，，，保存最近两张截图和只保存一张相比，，，效果险些没有差别，，，但盘算本钱从240 GPU小时增添到400 GPU小时。。。AI真正需要的"历史影象"，，，着实通过生涯每步的文字反响和AI自己的推理纪录就已经足够，，，这些文字信息比历史截图更紧凑、更高效地转达了要害信息。。。