这项由清华大学、中山大学、百度、同济大学和北京大学联合开展的研究，，，，，，，于2026年6月揭晓在arXiv预印本平台，，，，，，，论文编号为arXiv:2606.01528v1。。。。。。感兴趣的读者可通过该编号在arXiv上查阅完整论文。。。。。。 你有没有视察过一个小孩第一次进入游乐场的样子？？？他会先四处张望，，，，，，，然后跑向最显眼的滑梯，，，，，，，玩了一再之后，，，，，，，最先实验旁边的秋千，，，，，，，再厥后发明角落里藏着一个沙坑……他始终记得自己玩过什么，，，，，，，以是能一直向新的地方迈进。。。。。。整个历程既不需要怙恃告诉他该玩什么，，，，，，，也不需要任何奖励，，，，，，，只是纯粹地被"还没见过的工具"吸引着。。。。。。 现在把这个小孩替换成一个AI智能体，，，，，，，把游乐场替换成一款从未被测试过的手机应用或网页——问题就来了。。。。。。目今绝大大都AI智能体在这种"自由探索"的场景下体现得像一个失忆的孩子：它可能一遍又一各处点统一个按钮，，，，，，，完全不知道自己适才已经做过同样的事情，，，，，，，更无从判断哪些地方还没有被触碰过。。。。。。这不是由于模子自己不敷智慧，，，，，，，而是由于它缺乏一种要害能力——**影象**。。。。。。 正是为相识决这个根天性的问题，，，，，，，来自清华大学、中山大学、百度、同济大学和北京大学的研究团队提出了一个全新的框架，，，，，，，名为JAMEL（联合智能体影象与探索学习，，，，，，，Joint Agent Memory and Exploration Learning）。。。。。。这个框架的焦点头脑可以用一句话归纳综合：让影象和探索相互"喂养"对方，，，，，，，形成一个一连进化的良性循环。。。。。。 在大大都现实应用场景中，，，，，，，AI智能体饰演的是一个"操作员"的角色：它翻开一个网页或应用，，，，，，，视察目今屏幕上的内容，，，，，，，然后决议下一步做什么——点击那里、填写什么内容、滑动到哪个偏向。。。。。。这个历程一连几十步以致几百步。。。。。。贫困在于，，，，，，，情形是"部分可视察"的，，，，，，，也就是说，，，，，，，智能体每一步只能看到目今屏幕，，，，，，，无法直接看到整个应用的全貌。。。。。。 这就相当于你被蒙着眼睛逛一座迷宫，，，，，，，只有在某个位置时，，，，，，，眼罩才短暂掀开让你看一眼周围。。。。。。在这种情形下，，，，，，，你能否走出迷宫，，，，，，，很洪流平上取决于你还记不记得自己去过哪些地方。。。。。。 现有的AI智能体通常有两种应对方法。。。。。。第一种是"全记"：把已往所有的操作历史完整地塞进输入框，，，，，，，让模子每次决议时都能看到完整纪录。。。。。。这种要领确实有用，，，，，，，但价钱极高。。。。。。随着探索办法的增添，，，，，，，历史纪录越来越长，，，，，，，处置惩罚这些文字（或截图）所消耗的盘算资源呈爆炸式增添。。。。。。商业闭源大模子（如谷歌的Gemini）委屈能遭受这种开销，，，，，，，但关于通俗研究者或在设惫亓地运行的小模子来说，，，，，，，险些是不可能完成的使命。。。。。。 第二种方法是"裁剪"：只保存最近几步的历史，，，，，，，或者把旧历史压缩成一段文字摘要。。。。。。这样盘算本钱降下来了，，，，，，，但随之而来的是信息损失。。。。。。一旦要害的历史纪录被删掉，，，，，，，智能体就最先重复走过的路，，，，，，，探索深度大幅下降。。。。。。 有了影象，，，，，，，智能体才华判断哪些行为已经被实验过、哪些地方还值得一探；；；而探索自己，，，，，，，恰恰又能为影象的训练提供最自然的"课本"。。。。。。 打个例如：你是一位第一次到访某个都会的旅行者，，，，，，，手边有一本空缺的旅行日志（影象模浚？椋。。。。。每当你去了一个新所在，，，，，，，日志里就多了一条纪录。。。。。。当你下次出门妄想蹊径时，，，，，，，你会翻看日志，，，，，，，避开已经去过的地方，，，，，，，专门寻找还没打卡的角落。。。。。。旅途越深入，，，，，，，日志越充分，，，，，，，你的决议也越精准。。。。。。而若是日志基础不起作用（由于你看不懂自己的条记），，，，，，，你就会一次次重复走统一条街。。。。。。 在这个框架里，，，，，，，要害的洞察是：**当智能体由于做出了新颖的探索行为而获得奖励时，，，，，，，这个奖励信号就同时告诉了影象模浚？"什么信息是有用的"**。。。。。。不需要人工标注每一步的影象应该写什么，，，，，，，探索历程自己就在自动天生逊ж材。。。。。。 这种"自给自足"的学习方法还会自然形成一个由易到难的学习曲线。。。。。。在探索初期，，，，，，，随便点几下都能触发新功效，，，，，，，奖励信号麋集；；；随着应用的浅层功效被逐渐笼罩，，，，，，，要获得奖励就必需举行更重大的多步操作，，，，，，，模子被迫学习更深层的探索战略。。。。。。这就像游戏的难度设计：前期关卡简朴，，，，，，，帮你建设基础操作感；；；后期关卡重大，，，，，，，逼着你掌握高级技巧。。。。。。整个历程无需任何人为设计，，，，，，，完全自然涌现。。。。。。 第一个模浚？槭**历史压缩器**。。。。。。它的事情原理可以用"拍快照"来明确。。。。。。每当智能体完成一步操作（好比点击了某个按钮），，，，，，，压缩器就把这一步的屏幕画面和执行的行动打包在一起，，，，，，，"消化"成一个极其紧凑的向量——研究团队把它称为"影象令牌"（memory token）。。。。。。这就像把一页完整的日志压缩成一个小图标，，，，，，，图标自己虽然看起来很小。。。。。，，，，，，但包括了这一页的焦点要义。。。。。。整个历史就由一串这样的小图标组成，，，，，，，数目即是已经走过的步数。。。。。。 肩负这项压缩事情的是一个冻结参数的视觉语言模子（研究中使用的是阿里巴巴的Qwen3-VL-2B），，，，，，，"冻结"意味着它的参数在训练历程中坚持稳固，，，，，，，只起到信息提取的作用，，，，，，，不被更新。。。。。。 第二个模浚？槭**决议战略模子**。。。。。。它吸收目今屏幕画面，，，，，，，同时还吸收来自压缩器的那一串历史影象图标，，，，，，，将二者合并后输出下一步的操作指令。。。。。。在手艺实现上，，，，，，，那些影象令牌被一个可学习的线性变换投影到决议模子的"语言空间"，，，，，，，然后拼接在目今视察的前面，，，，，，，作为"软前缀"输入。。。。。。决议模子自己基于Qwen2.5-VL-7B，，，，，，，两者合计约9B（90亿）参数，，，，，，，因此整个系统被称为JAMEL-9B。。。。。。 这个设计的精妙之处在于**极致的压缩比**。。。。。。无论历史有多长——哪怕已经走了四十九步——送入决议模子的历史信息永远只是四十九个紧凑向量，，，，，，，而不是几十张截图加上几千字的操作纪录。。。。。。盘算本钱因此被压缩到一个极低的牢靠倍数，，，，，，，而不是随历史长度爆炸性增添。。。。。。 在一样平常的强化学习场景中，，，，，，，这类奖励很难界说，，，，，，，由于"什么叫新"自己就是个模糊的看法。。。。。。研究团队选择的应用场景——网页应用探索——恰恰提供了一个自然精准的怀抱标准：**代码笼罩率**。。。。。。 任何一款网页应用在底层都是由JavaScript代码驱动的。。。。。。每当用户（或智能体）触发某个操作，，，，，，，应用的某些代码路径就会被执行。。。。。。通过一种叫做"代码插桩"的手艺，，，，，，，可以准确纪录哪些代码行、哪些分支、哪些函数被执行过。。。。。。一旦某段代码被执行过，，，，，，，它就永远被标记为"已笼罩"，，，，，，，纵然下次再触发同样的操作也不会重复计分。。。。。。 研究团队将笼罩的代码行数、分支数、语句数和函数数加总，，，，，，，形成一个累积得分C(t)。。。。。。智能体每完成一步，，，，，，，若是这一步让累积得分增添了（也就是触发了之前从未执行过的代码），，，，，，，就获得奖励值1；；；不然奖励为0。。。。。。这个机制自然知足"长期性"要求：一个地方探索过一次之后，，，，，，，无论重复几多次，，，，，，，都不再有奖励，，，，，，，彻底杜绝了"在原地打转刷分"的可能。。。。。。 尤其值得一提的是，，，，，，，这套奖励机制完全不需要人工标注。。。。。。只要把应用安排到一个带有笼罩率监测工具的浏览器情形（研究中使用了V8 JavaScript引擎和Istanbul笼罩率报告器），，，，，，，就能全自动地爆发训练信号。。。。。。这大幅降低了数据网络的本钱。。。。。。 研究团队首先把一个通用大语言模子安排到浏览器情形中，，，，，，，让它自由探索各个网页应用。。。。。。每一步，，，，，，，这个"收罗模子"都会爆发一段推理历程和一个详细操作，，，，，，，同时系统纪录下这一步是否触发了新的代码笼罩。。。。。。 探索是以"会话—场次"的方法组织的：一次完整会话包括多个探索场次，，，，，，，每个场次从应用首页出发，，，，，，，最多走N步，，，，，，，然后浏览重视置。。。。。。差别场次之间，，，，，，，代码笼罩的基准线是共享且累积的，，，，，，，也就是说，，，，，，，越到后面的场次，，，，，，，已经被笼罩的代码越多，，，，，，，爆发奖励的难度越高，，，，，，，形成谁人自然的课程梯度。。。。。。 数据筛选阶段，，，，，，，研究团队只保存每个场次中"最后一个爆发正奖励的办法及其之前的所有办法"。。。。。。这样做的逻辑是：一个最终触发了新发明的轨迹，，，，，，，其中每一步都值得被学习；；；而重新到尾没有任何新发明的场次则被直接扬弃。。。。。。通过这种"回溯接受"的过滤机制，，，，，，，每一条保存下来的训练样本都属于真正有用的探索轨迹。。。。。。 最终，，，，，，，团队在ScaleWoB基准测试平台的86个网页应用上，，，，，，，网络了2.4万条训练样本，，，，，，，涵盖电商、社交媒体、视频、旅游物流、办公协作等多个种别。。。。。。 所有事情的最终磨练，，，，，，，是在从未见过的应用上举行测试。。。。。。研究团队把96个应用分成86个训练集和10个测试集，，，，，，，JAMEL完全在训练集上学习，，，，，，，然后直接到测试集上"上岗"。。。。。。每次评估给智能体50步的预算，，，，，，，看它能触发几多新的代码路径。。。。。。 比照的基准线笼罩了两类系统。。。。。。云端闭源模子方面，，，，，，，研究团队把谷歌的Gemini 3.1 Flash-Lite配合ReAct框架（一种让模子边推理边行动的要领）来运行，，，，，，，分为纯文字版（ReAct-text）和附带截图版（ReAct-vision）。。。。。。这两种方法都保存了完整的历史纪录，，，，，，，是盘算资源消耗最高的基准线。。。。。。外地开源模子方面，，，，，，，比照了MAI-UI（基于阿里Qwen3-VL的8B参数GUI智能体，，，，，，，内置装备端/云端路由机制）和Mobile-Agent-v3.5（基于GUI-Owl-1.5的8B参数框架，，，，，，，使用滑动窗口压缩历史并配备Notetaker摘要模浚？椋。。。。。 效果相适时人印象深刻。。。。。。在50步的会话中，，，，，，，ReAct-text平均积累19.9分的笼罩奖励，，，，，，，ReAct-vision抵达20.9分，，，，，，，而MAI-UI只有8.4分，，，，，，，Mobile-Agent-v3.5更低，，，，，，，只有5.9分。。。。。。JAMEL-9B的得分是20.7分，，，，，，，以约莫9B的总参数目、完全开源的模子，，，，，，，不但将其他小模子甩出一大截，，，，，，，还险些追平了使用完整历史的大型闭源商业模子。。。。。。 从奖励随时间增添的曲线来看，，，，，，，差别越发直观。。。。。。MAI-UI和Mobile-Agent-v3.5在约莫20步之后显着最先障碍，，，，，，，曲线趋于平缓；；；而JAMEL的曲线始终坚持稳固向上的趋势，，，，，，，一直延伸到第50步，，，，，，，走势与两个ReAct基准线高度重合。。。。。。研究团队以为，，，，，，，外地小模子的障碍源于它们的历史压缩战略不可阻止地扬弃了要害信息，，，，，，，导致智能体在后期逐渐"遗忘"自己去过那里，，，，，，，又最先重复旧路；；；而JAMEL通过紧凑但不丧失的潜在影象，，，，，，，始终保存着完整的历史信息，，，，，，，以是没有这个问题。。。。。。 研究团队统计了在10个测试应用、每应用50步（合计500步）的评估历程中，，，，，，，各要领消耗的输入token总数。。。。。。ReAct-text累计消耗约1890万token，，，，，，，ReAct-vision更高达约2326万token。。。。。。MAI-UI约298万token，，，，，，，Mobile-Agent-v3.5约293万token。。。。。。JAMEL只消耗了约106万token。。。。。。 换算成倍数关系：MAI-UI和Mobile-Agent-v3.5消耗的token量约为JAMEL的2.81倍和2.76倍，，，，，，，而两个ReAct基准线则划分是JAMEL的17.85倍和21.92倍。。。。。。也就是说，，，，，，，JAMEL用不到ReAct-vision二十二分之一的盘算开销，，，，，，，取得了险些相同的探索效果。。。。。。每一步平均只需处置惩罚约2122个token，，，，，，，远低于其他所有计划。。。。。。 这个效率差别在现实安排中意味着显著的本钱节约，，，，，，，也意味着JAMEL这样的系统未来完全可能运行在算力受限的边沿装备上，，，，，，，而不必每次都依赖腾贵的云端效劳。。。。。。 在结构条理深的商业和旅游平台上，，，，，，，好比唯品会、Expedia和Temu，，，，，，，JAMEL的奖励曲线重新到尾坚持一连攀升，，，，，，，体现出它在重大多层界面中逐步深入的能力。。。。。。阿里巴巴和淘宝这两个超大型电商平台则泛起出另一种模式：曲线中心泛起了一再陡升，，，，，，，这说明智能体在某个时刻乐成"越过"了一个界面模浚？榈慕缦撸，，，，，，突然进入了全新的功效区域，，，，，，，一次性触发了大宗新代码——这是它真正挣脱下场部探索陷阱的证据。。。。。。 媒体和生涯方法类应用如优酷和Keep的情形则有所差别。。。。。。在这些应用中，，，，，，，所有要领的曲线都在约莫20步后趋于平缓。。。。。。研究团队以为这不是模子的问题，，，，，，，而是这类应用自己可交互功效有限，，，，，，，原来就没有那么多新代码路径可以触发。。。。。。所有要领都较早抵达了"探索天花板"。。。。。。 拼多多是JAMEL遇到挑战最显着的案例。。。。。。这款应用以极端麋集的弹窗和浮层著称，，，，，，，智能体经常试图点击配景中看起来可以操作的元素，，，，，，，却发明它们被远景弹窗遮住了，，，，，，，操作无效，，，，，，，陷入一段时间的"原地彷徨"。。。。。。这说明当界面设计很是重大、弹窗叠弹窗时，，，，，，，仅靠压缩历史中的视觉和交互信息，，，，，，，仍然难以完全应对这种滋扰。。。。。。 第一个偏向是探索的扩展纪律。。。。。。现在JAMEL通过监视微调（模拟优质探索轨迹）来学习，，，，，，，下一步可以引入强化学习，，，，，，，直接以新颖度奖励作为优化目的。。。。。。加之新颖度奖励内置了由易到难的课程，，，，，，，从浅层探索到深层多步探索的过渡是自然爆发的，，，，，，，这让强化学习训练比通常情形下越发稳固。。。。。。别的，，，，，，，随着模子参数规模增大、训练数据增多、探索步数加深，，，，，，，整个系统的能力上限怎样转变，，，，，，，仍是一个待解的开放性问题。。。。。。 第二个偏向被研究团队称为"先探索，，，，，，，后执行"范式。。。。。。在许多现实场景中，，，，，，，用户希望AI资助完成特定使命，，，，，，，好比"帮我在这款应用里找到设置语言的地方"。。。。。。但完成使命的条件是对应用的功效结构有所相识。。。。。。JAMEL的探索历程恰恰能积累这种"结构性影象"——它探索过的应用在影象模浚？槔锪粝铝斯赜谟τ霉π衍的隐式知识。。。。。。若是这份影象能够被后续的使命执行阶段复用，，，，，，，智能体就能在面临详细指令时更快找到目的，，，，，，，而不必从零最先探索。。。。。。这将组成一种"自主积累履历、按需调取应用"的智能体自进化框架，，，，，，，大幅镌汰对人工标注数据的依赖。。。。。。 说究竟，，，，，，，JAMEL做的事情并不重大：它让AI智能体终于拥有了一种可以随着时间积累、不会随着历史增添而爆炸、又能在训练中自动被优化的影象方法。。。。。。它的焦点孝顺是证实晰一件原本不太显然的事——探索和影象不需要被看成两个自力的问题来解决，，，，，，，当你把它们放在一起，，，，，，，让探索的效果去训练影象，，，，，，，让影象去指导探索，，，，，，，整个系统就会自觉地越来越智慧。。。。。。 这对通俗人意味着什么？？？短期内，，，，，，，这类手艺可能让AI助手在使用一款新应用时，，，，，，，不再需要有人逐步教它怎么操作，，，，，，，而是能自己探索出应用的功效漫衍，，，，，，，然后在你提出详细需求时精准地帮你完成。。。。。。久远来看，，，，，，，"自主探索生疏情形、积累履历、按需调取"的能力，，，，，，，是通向真正自顺应AI智能体的主要一步。。。。。。 A：通俗文字摘要是把历史操作压缩成人能读懂的句子，，，，，，，可以人为检查和修改，，，，，，，但天生和明确摘要自己也要消耗盘算资源，，，，，，，并且摘要质量依赖提醒词设计。。。。。。JAMEL的潜在影象令牌则是一个数学向量，，，，，，，没有可读的语义，，，，，，，每步历史都被压缩成牢靠巨细的向量，，，，，，，无论历史多长，，，，，，，送入决议模子的影象始终是等量的向量序列，，，，，，，盘算开销不随历史增添而爆炸，，，，，，，且整个向量的"内容"是通过探索奖励信号端到端自动学出来的，，，，，，，不需要人为设计压缩规则。。。。。。 A：代码笼罩率笔剖上是网页应用特有的便当条件。。。。。。论文也指出，，，，，，，在其他情形中可以用类似逻辑的替换信号：好比在机械人导航场景中，，，，，，，可以用"发明新所在"或"遇到从未见过的物体"来充当新颖度信号；；；在文本游戏中，，，，，，，可以用"进入从未会见过的游戏状态"来权衡。。。。。。焦点要求是信号必需具有长期性——一旦某个状态被探索过，，，，，，，下次再次会见时不可重新计分，，，，，，，不然智能体会重复刷分而不是真正探索新领域。。。。。。 A：现在JAMEL的实验是在网页应用情形下举行的，，，，，，，使用的是基于浏览器的操作接口（BrowserGym）。。。。。。关于原外行机应用，，，，，，，操作接口和视察形式有所差别，，，，，，，需要对应的适配事情。。。。。。但研究团队在论文中提出的"先探索后执行"范式与手机应用场景高度吻合，，，，，，，后续很可能会有针敌手机应用的扩展版本。。。。。。从手艺原理上看，，，，，，，只要能界说适合手机应用的长期性新颖度信号（如触达新界面、发明新功效入口），，，，，，，整个训练框架是可以迁徙的。。。。。。