这项由浙江大学人工智能研究团队完成的研究，，，，，以预印本形式宣布于2026年5月31日，，，，，论文编号为arXiv:2606.01247，，，，，感兴趣的读者可通过该编号查阅完整论文
。。。 你有没有试过，，，，，朋侪发给你一张在某个地方拍的照片，，，，，然后你也想在统一个角度拍一张？？？？你会怎么做？？？？你会先视察照片里泛起了什么家具、窗户在那里、光线从哪个偏向射来，，，，，然后走动几步，，，，，左转右转，，，，，蹲下或仰面，，，，，一直调解，，，，，直到眼前的画面跟朋侪的照片大致重叠，，，，，这才按下快门
。。。 这个历程对人类来说万无一失，，，，，险些是本能反应
。。。然而，，，，，关于当今最先进的AI来说，，，，，这居然是一件极端难题的事情
。。。浙江大学的研究团队正是针对这个问题睁开了深入研究，，，，，他们将这个使命命名为"目的视角复现"（Target Viewpoint Reproduction，，，，，简称TVR），，，，，并构建了一套完整的测试和训练系统——TVRBench——来权衡AI在这方面的能力事实有多强，，，，，以及怎样提升它
。。。 人类在"找角度"这件事上，，，，，着实同时在做好几件重大的事情：把眼前的画面和目的照片举行较量，，，，，判断自己需要向前走照旧向退却、需要向左转照旧向右转、需要仰面照旧垂头，，，，，然后用身体行动来填补这个差别，，，，，同时还要记着自己走过哪些路，，，，，以免原地打转，，，，，最后还要在适当的时机判断"够了，，，，，就是这里"并停下来
。。。 现有的AI研究在"看图语言"和"明确空间关系"方面已经取得了不少希望，，，，，好比让AI回覆"图里的椅子在桌子的左边照旧右边"这类问题
。。。然而，，，，，这些研究绝大大都都是被动的——照片已经提前准备好了，，，，，AI只需要看图回覆问题，，，，，不需要自己走动、自己去寻找合适的视角
。。。 这就好比让一个厨师评价一道菜好欠好吃，，，，，和让他重新到尾自己做出这道菜，，，，，是完全差别的挑战
。。。浙江大学的团队意识到，，，，，真正有用的空间智能不是"看图语言"，，，，，而是能够自动行动、自动探索、自动调解，，，，，最终在三维空间里再现一个指定的视角
。。。 为了磨练AI在这个使命上的体现，，，，，研究团队搭建了一套名为TVRBench的室内仿真测试平台
。。。整个测试爆发在电脑模拟的室内情形里，，，，，AI饰演一个能够移动和转头的机械人，，，，，目的是通过自主行动，，，，，让自己眼中看到的画面与给定的目的照片完全一致
。。。 这个平台的设计很是全心，，，，，笼罩了两种差别的场景规模
。。。一种是单房间场景，，，，，来自AI2-THOR仿真平台，，，，，包括厨房、客厅、卧室、卫生间共120个场景
。。。另一种是多房间场景，，，，，来自ProcTHOR-10k仿真平台，，，，，每个场景包括两到三个由实体墙离隔的房间，，，，，共120个场景
。。。 测试使命还进一步凭证"难度"分成了四个种别：单房间简朴、单房间难题、多房间简朴、多房间难题
。。。所谓简朴使命，，，，，目的照片里至少要有9个可识别的物体（好比沙发、灯、桌子等），，，，，这些物体就像路标一样，，，，，资助AI判断自己站在那里、该往哪儿走；；；难题使命的目的照片则只有3到6个物体，，，，，路标少少，，，，，导航越发艰辛
。。。 与此同时，，，，，从起点到目的点的行走距离也有考究
。。。单房间使命需要2到8步行动，，，，，而多房间使命则需要10到20步，，，，，意味着AI必需穿越走廊甚至多个房间才华抵达目的位置
。。。整个测试集共有500道题，，，，，每类125道
。。。 AI的行动选项共有九种：向前、向后、向左、向右各走0.25米；；；向左或向右旋转45度；；；仰面或垂头30度；；；以及"阻止"——宣告自己已经抵达目的位置
。。。AI每次行动后只能看到目今的第一人称视角照片，，，，，无法看到地图，，，，，也不知道自己的准确坐标，，，，，更不知道目的点在那里
。。。只有当AI喊出"阻止"且位置完全准确时，，，，，使命才算乐成
。。。 研究团队测试了多个现在最顶尖的AI模子
。。？？？？茨Ｗ影≦wen3.5-9B、Qwen3.5-27B、Qwen3.6-27B，，，，，以及两个混淆专家架构的模子Qwen3.5-35B-A3B和Qwen3.6-35B-A3B；；；闭源商业模子包括GPT-4o、GPT-5，，，，，以及谷歌的Gemini-3.1-Pro
。。。与此同时，，，，，研究团队还约请了5位真人加入者完成其中100道题，，，，，作为人类基准
。。。 效果令人瞠目：在500道测试题中，，，，，体现最好的开源模子（Qwen3.5-27B）仅有7.8%的乐成率；；；体现最好的闭源模子（Gemini-3.1-Pro）也只有12%
。。。而人类加入者的乐成率高达93%
。。。；；痪浠八，，，，，AI完成这个使命的能力，，，，，约莫只有人类的八分之一甚至更低
。。。 更有意思的是，，，，，将模子参数目从90亿扩大到270亿，，，，，乐成率的提升极为有限，，，，，从2.8%涨到了7.8%
。。。即即是顶级商业模子GPT-5，，，，，也仅能抵达8%的乐成率
。。。这说明纯粹"把模子做大"并不可解决这个根天性问题
。。。 研究团队还特殊视察到了两种典范的失败模式
。。。第一种是"原地打转"——AI一直地左转右转，，，，，却险些不走动，，，，，整个使命历程中现实移动到的差别位置平均只有3.5个，，，，，但总行动步数却高达34.3步，，，，，并且83%的办法都是在重复已经去过的地方
。。。第二种是"瞎转圈"——AI一直仰面垂头，，，，，在统一个地方重复调解头部角度，，，，，却毫无希望
。。。统计所有行动漫衍，，，，，旋转类行动占了50.8%，，，，，而真正的身体平移行动只占26.1%，，，，，"阻止"行动更是仅占可怜的0.1%
。。。 研究职员还做了一个要害的控制实验：若是把使命简化成只需要在原地转头，，，，，不需要走动，，，，，同样的Qwen3.5-9B模子的乐成率从2.8%一跃升至80.5%；；；反过来，，，，，若是只允许走动不允许转头，，，，，乐成率则停留在10%
。。。这个比照清晰地说明，，，，，AI真正的瓶颈不是"看不出两张照片有什么差别"，，，，，而是"看出了差别但不知道该怎么走已往"
。。。 研究团队还测试了两种差别的"影象方法"对AI体现的影响
。。。第一种叫做"仅行动影象"——AI每一步只能看到目今画面、目的照片，，，，，以及已往几步做了哪些行动的文字形貌，，，，，好比"第5步：向前走，，，，，第6步：向右转"
。。。第二种叫做"视觉-行动影象"——AI可以同时看到已往每一步的现实画面，，，，，完整的视觉历史都保保存上下文中
。。。 实验效果显示，，，，，关于未经训练的模子，，，，，仅行动影象反而比视觉-行动影象体现更好，，，，，平均提升约3.8个百分点
。。。这听起来有点反直觉，，，，，但缘故原由着实很清晰：这些模子没有经由专门训练，，，，，一旦塞进大宗历史画面，，，，，反而会被视觉信息所滋扰，，，，，不知道该关注那里；；；而只给它行动列表，，，，，虽然信息更少，，，，，但至少不会"被图片淹没"
。。。这展现了另一个主要的瓶颈：现有模子没有能力有用使用多轮视觉历史
。。。 既然现有AI在这个使命上体现云云之差，，，，，有没有步伐通过专门训练来提升它的能力？？？？研究团队以Qwen3.5-9B作为基础模子，，，，，设计了一套包括四种训练要领的综合框架
。。。 第一种要领是"专家树模学习"（SFT，，，，，监视微调）
。。。研究团队先用一个有"天主视角"的规则程序，，，，，在模拟情形里自动天生1600条最优行走路径，，，，，这个程序知道地图、知道目的坐标，，，，，能妄想出最短蹊径
。。。然后把这些树模路径喂给AI，，，，，让它通过模拟来学习"该怎么走"
。。。这就像教一个孩子开车，，，，，不是让他自己探索，，，，，而是先让教练树模标准驾驶行动，，，，，再让他重复训练
。。。在使用视觉-行动影象的条件下，，，，，这种要领把Qwen3.5-9B的乐成率从2.8%大幅提升到了50.8%，，，，，是一个相当显著的前进
。。。 第二种要领是"加入推理历程的树模学习"（CoT-SFT，，，，，头脑链监视微调）
。。。在上述树模路径的基础上，，，，，研究团队特殊借助MiMo-V2.5模子为每一个行动天生一段"理由"，，，，，好比"目今画面里桌子在右侧，，，，，目的照片里桌子在正前方，，，，，以是应该向右转"
。。。理论上，，，，，这种带有推理历程的树模应该资助AI"知其然也知其以是然"
。。。然而效果出乎意料：加入推理历程反而降低了乐成率
。。。使用仅行动影象时，，，，，从44.2%下降到24.8%；；；使用视觉-行动影象时，，，，，从50.8%下降到35.6%
。。。这说明，，，，，至少在目今的标注计划下，，，，，这种文字推理的监视并不可资助AI更好地完成需要一连行动的导航使命，，，，，甚至会滋扰它学习有用的行动模式
。。。 第三种要领是"单步强化学习"（Single-turn GRPO）
。。。这种要领不再训练整个行走历程，，，，，而是把每一步单独拿出来训练：给AI看目今画面和目的照片，，，，，问它"这一步该做什么"，，，，，然后凭证它的回覆是否与专家谜底一致来给予奖励或处分
。。。这种要领在单步展望的准确率上抵达了72%，，，，，但在真实的一连使命测试中，，，，，乐成率却从44.2%大幅下降到26.2%
。。。这个反差展现了一个深刻的原理：在实验室里每道题单独答对，，，，，和在真实场景中一连做30个决议都不蜕化，，，，，是完全差别的能力
。。。好比一个学生单独做每道选择题能答对70%，，，，，但在真正的考试中却由于前面答错一道题导致后面的判断所有连锁蜕化
。。。 第四种要领是"多轮强化学习"（Multi-turn GRPO）
。。。这种要领让AI在真实的模拟情形里现实走动，，，，，每走完一整条路径才举行一次总体评分——奖励信号不但看最后有没有抵达目的，，，，，还包括整个历程中是否逐步靠近目的、有没有无效的原地打转、有没有在过失的位置提前喊停等
。。。这就好比赛马拉松，，，，，不是只看最终效果，，，，，而是全程都有教练在旁边实时指导
。。。这种要领在视觉-行动影象的基础上，，，，，将乐成率从50.8%进一步提升到了51.4%，，，，，整体提升幅度虽然不大，，，，，但提升来自那里很有意义：多房间简朴使命的乐成率从27.2%提升到了34.4%，，，，，多房间难题使命从24.8%提升到25.6%，，，，，恰恰是之前树模学习最薄弱的那些场景
。。。 为了让读者对整个训练历程有更完整的相识，，，，，有须要先容一下数据的分派方法
。。。研究团队将240个场景凭证1:2:3的比例分成了三个互不重叠的池子：最小的用于树模学习（SFT池），，，，，其次用于最终测试（评估池），，，，，最大的用于强化学习（RL池）
。。。这样的划分确保了测试时用到的场景，，，，，在训练阶段从未被AI见过，，，，，真正测试的是泛化能力而非影象能力
。。。 树模学习共天生了1600条轨迹，，，，，每条轨迹由三个阶段组成：首先调解头部朝向，，，，，使视角偏向与目的一致；；；然后用最短路径算规则划地面行走蹊径；；；最后喊停
。。。妄想蹊径的算法使用的是经典的Dijkstra最短路算法，，，，，每条树模轨迹都是行动数目最少的最优路径
。。。 关于强化学习部分，，，，，多轮强化学习使用了4800条使命（来自120个RL场景，，，，，每个场景40条使命），，，，，每次训练时AI会在统一个使命上天生8条差别的轨迹，，，，，然后通过较量这8条轨迹的优劣来判断哪种走法更值得强化
。。。奖励信号由四部分叠加而成：每走一步扣除一小点奖励以勉励效率，，，，，每次发出的行动名堂准确给予小奖励、名堂过失则扣分，，，，，只有当AI靠近目的的距离凌驾了历史最近距离时才给予前进奖励（转头走老路不算前进），，，，，以及在准确位置喊停给予高额奖励、在过失位置喊停则受随处分
。。。 为了建设一个公正的人类基准，，，，，研究团队约请了5位自愿者，，，，，每人完成100道题，，，，，四个种别各25道
。。。他们通过一个网页界面操作，，，，，左边显示目今的第一人称视角画面，，，，，右边显示目的照片，，，，，用键盘上的W/S/A/D键控制前后左右移动，，，，，Q/E键控制左右旋转，，，，，R/F键控制仰面垂头，，，，，空格键宣告完成
。。。整个测试的图像区分率、行动选项、步数上限和乐成判断标准与AI测试完全相同，，，，，因此两者的数据可以直接较量
。。。 这个发明值得单独诠释，，，，，由于在许多其他AI使命里，，，，，让模子先"想清晰再说"——也就是天生推理历程——往往能显著提升体现
。。。然而在TVR这个使命里，，，，，效果相反
。。。 研究团队以为，，，，，问题可能出在推理历程的标注方法上
。。。每个推理办法的文字形貌是由MiMo-V2.5模子天生的，，，，，它被要求为每一步专家行动提供一个1到3句话的理由
。。。但这种"事后诠释"的推理，，，，，和AI真正在一连行动中需要用到的空间妄想能力，，，，，可能并不是统一回事
。。。更主要的是，，，，，TVR使命的每条轨迹长达30到40步，，，，，若是每步都带着一段推理文字，，，，，整个上下文会变得很是冗长，，，，，反而让模子在处置惩罚时更容易杂乱
。。。值得注重的是，，，，，研究团队也坦承，，，，，是否保存更适合TVR使命的CoT监视方法，，，，，现在仍是一个开放问题
。。。 单步强化学习的失败，，，，，恰恰反衬出多轮强化学习的价值所在
。。。一个每步单独训练的模子，，，，，只学会了"在专家演示的场景下该怎么做"，，，，，从未学过"若是前面走错了，，，，，接下来该怎么纠正"
。。。而在真真相形里重复实验、重复出错、重复获得奖励信号的多轮训练，，，，，让模子有时机接触到种种"非最优状态"，，，，，并在这些状态下学会怎样恢复和前进
。。。 从另一个角度也能看出这一点：研究团队还做了一个实验，，，，，直接用未经树模学习的原始模子举行多轮强化学习，，，，，效果乐成率从0%提升到了26.2%——虽然远不如先做树模学习再做强化学习（51.4%），，，，，但最少能从零最先自己探索出一套可行战略
。。。而单步强化学习从原始模子出发，，，，，最终只能抵达3.6%
。。。 归根结底，，，，，这项研究展现了目今AI空间智能的一个焦点短板：能"看懂"空间，，，，，不代表能"行动于"空间
。。。现有的大模子在静态空间明确问题上已经体现不错，，，，，但一旦需要把这种明确转化为一连的身体行动，，，，，就会泛起严重的能力断层
。。。 研究团队通过TVRBench这套测试系统，，，，，把这个断层清晰地量化了出来
。。。更主要的是，，，，，他们通过比照四种训练要领，，，，，找到了现在最有用的提升路径：用视觉-行动历史举行树模学习打下基
。。。ɡ殖陕蚀2.8%升至50.8%），，，，，再通过在真真相形里的多轮强化学习在最薄弱的多房间场景上进一步精调（总体乐成率提升至51.4%）
。。。 虽然，，，，，研究团队也坦诚地指出了这项事情的局限性
。。。整个测试爆发在虚拟仿真情形里，，，，，接纳的是离散的位置网格和严酷的准确匹配判断标准，，，，，这与现实天下中模糊、一连、容错的导航场景尚有相当大的距离
。。。所有后训练结论也只在Qwen3.5-9B这一个模子上验证过，，，，，是否能推广到其他模子家族、其他规模，，，，，以及其他自动感知使命，，，，，还需要进一步研究
。。。 从更久远的视角看，，，，，这个使命的意义远不止于"拍同款照片"
。。。能够准确复现指定视角的AI，，，，，可以应用于室内导航机械人、无人机摄影、虚拟现实体验、远程手术辅助等众多场景
。。。研究团队已经将TVRBench的代码、数据集和训练好的模子所有开源，，，，，供更多研究者在此基础上继续探索
。。。 A：TVRBench测试的是"目的视角复现"使命，，，，，即让AI在三维室内情形中自动行走和转头，，，，，直到自己看到的画面与给定的目的照片完全一致，，，，，位置、朝向、头部角度都必需准确吻合才算乐成
。。。现有图像导航使命（如ImageNav）只要求AI抵达目的区域周围，，，，，不要求最终视角与目的照片匹配，，，，，因此测试的能力有实质区别
。。。TVRBench专注于视角的准确复现，，，，，而非简陋的位置靠近
。。。 A：在这个研究里，，，，，添加推理历程会让训练数据中每一步都带有一段文字说明，，，，，导致整条轨迹（30到40步）的上下文变得极长，，，，，模子容易被大宗文字信息滋扰而偏离焦点的行动学习
。。。更要害的是，，，，，这些推理文字是由另一个模子"事后增补"的诠释，，，，，与一连行动中真正需要的空间妄想能力保存差别，，，，，并不可有用指导模子学习现实的导航决议
。。。 A：单步强化学习每次只训练一个伶仃的行动决议，，，，，模子只在专家树模过的场景状态下学习，，，，，从未接触"走错了该怎么办"的情形，，，，，导致在真实一连使命中一旦泛起误差就无法恢复，，，，，过失会一直累积
。。。多轮强化学习让AI在真真相形里完整地走完整条路径，，，，，能接触到种种非最优的中心状态，，，，，并通过整条轨迹的综合奖励信号学会怎样纠错和恢复，，，，，因此更适合这类需要多步决议的自动感知使命
。。。