变形物体的机械人操作是机械人学领域的焦点挑战，，，，，这类物体的动力学特征随形态动态转变且无法提前完全视察，，，，，古板要领难以实现跨种别、跨实例的实时适配。。。。。 李飞飞团队联合德克萨斯大学奥斯汀分校在ICRA2026上提出的RAPID（Rapid Adaptation of Particle Dynamics）要领，，，，，将快速运动适配框架从刚体操作扩展至变形物体领域，，，，，通过粒子位置捕获物体形态转变，，，，，设计双阶段训练战略实现仿真到真实天下的零样本迁徙。。。。。 这一研究事情为变形物体移动操作提供了新路径，，，，，但局限也清晰：仍依赖仿真训练，，，，，且对形变极强烈的特殊材质（如高弹性织物）是否同样有用，，，，，有待进一步验证。。。。。 三是现有sim2real要领保存显着缺陷，，，，，模子基要领依赖完全视察无法应对遮挡，，，，，系统辨识要领需大宗真实轨迹难以实时适配，，，，，基于真实天下数据的方规则泛化性差、数据集规模受限。。。。。 同时，，，，，古板机械人要领缺乏人类操作时的实时在线适配能力，，，，，要么将变形物体看成刚体处置惩罚，，，，，要么需针对特定物体提前大宗训练，，，，，难以知足真实场景的多样化需求。。。。。 首次将形态转变纳入变形物体的动力学嵌入表征。。。。。融合刚体的质量、位置参数和粒子位置反应的形态转变信息，，，，，构建了更贴合变形物体特征的动力学形貌系统，，，，，填补了古板表征仅关注刚体属性的缺陷；；
； 通过双阶段训练设计，，，，，将仿真中依赖的粒子位置、真实物理参数等“特权信息”，，，，，转化为仅通过机械人视觉视察（深度图像）和行动序列即可推断的嵌入特征，，，，，彻底挣脱了对仿真专属信息的依赖，，，，，实现了真实场景的信息适配；；
； 全程基于机械人机载视觉传感器和枢纽角度信息完成训练，，，，，无需任何真实天下数据微调，，，，，直接实现零样本跨域迁徙，，，，，同时有用解决了操作历程中的物体遮挡、非俯视视角等真实场景常见问题。。。。。 与现有sim2real要领相比，，，，，RAPID无需依赖物体支解掩码、浓密形貌符等中心表征，，，，，直接通过视觉视察和行动序列完成动力学推断与行动妄想，，，，，大幅提升了要领在真实场景中的鲁棒性和实时性。。。。。 在OmniGibson仿真情形中，，，，，使用变形物体的真实粒子位置、质量、位置等特权信息，，，，，完成视觉运动战略和两个焦点编码器的端到端训练，，，，，为后续真实天下的适配涤讪基。。。。。 以变形物体的近期真实粒子位置和机械人行举措为输入，，，，，编码天生形状嵌入()，，，，，该特征专门表征物体的形态转变纪律，，，，，是适配变形物体独吞的焦点特征；；
； 将机械人单帧深度图像 ()、形状嵌入和动力学嵌入作为联合输入，，，，，输出22 自由度机械臂的全维度行动指令，，，，，通过强化学习完成端到端训练，，，，，实现仿真情形中变形物体操作的最优行动妄想。。。。。 以机械人近期深度图像、枢纽角度和行动序列为输入，，，，，替换形状编码器天生推断形状嵌入()，，，，，并以 Phase I 天生的真实形状嵌入为监视，，，，，通过 L1 损失让推断嵌入无限迫近真实值；；
； 输入与形状适配？？？？？橥耆嗤氖泳鹾托卸畔，，，，，替换动力学编码器天生推断动力学嵌入()，，，，，同样以真实动力学嵌入为监视完成 L1 损失回归；；
； 用两个适配？？？？？樘焐耐贫锨度，，，，，替换Phase I中的真实嵌入，，，，，对视觉运动战略举行轻量强化学习微调；；
；同时为阻止两个适配？？？？？楸嗦肴哂嘈畔，，，，，阻断动力学适配？？？？？榈叫巫词逝淠？？？？？榈纳嫌翁荻，，，，，确保二者在相同输入下，，，，，划分捕获形态转变和刚体动力学的自力特征。。。。。 本阶段完成后，，，，，Phase I的形状编码器和动力学编码器将被舍弃，，，，，最终训练获得的模子仅包括视觉运动战略和两个适配？？？？？，，，，，完全知足真实天下的无特权信息使用要求。。。。。 在真实天下安排时，，，，，RAPID无需任何特殊微调，，，，，直接加载仿真训练获得的视觉运动战略和适配？？？？？，，，，，实现完全自主的在线闭环操作。。。。。 机械人通过机载RGBD相机获取224×224区分率的深度图像（收罗频率3Hz），，，，，同时实时收罗自身枢纽角度数据，，，，，构建包括最近10组“深度图像-视察-行动”的滑动数据窗口；；
； 将滑动窗口的多维度数据同步输入形状和动力学适配？？？？？，，，，，实时天生推断形状嵌入和推断动力学嵌入，，，，，完成对变形物体目今动力学特征的精准感知；；
； 视觉运动战略以目今深度图像、枢纽角度和两个推断嵌入为联合输入，，，，，输出机械臂的全自由度行动指令，，，，，指导机械人完成与变形物体的交互操作；；
； 为包管视觉运动战略的时间行为一致性，，，，，阻止视觉噪声导致的行动颤抖，，，，，嵌入特征并非逐帧更新，，，，，而是每5个时间步更新一次，，，，，平衡实时性与稳固性。。。。。 整个安排历程完全自主举行，，，，，无需人类干预，，，，，能够有用应对真实场景中物体随机摆放、光照条件转变、操作历程中物体遮挡等种种重大问题。。。。。 设置主流SOTA要领为比照基线，，，，，并设计三组消融实验，，，，，从定量和定性双维度验证RAPID的性能，，，，，所有真实天下实验均使用仿真中从未泛起的物体、情形和光照条件，，，，，模拟真实场景的未知性。。。。。 选取DMfD（基于仿真专家演示的变形物体静态操作要领）、DDOD（基于浓密物体形貌符的变形物体操作要领）为基线，，，，，由RAPID完成所有基线要领的抓取和导航环节，，，，，仅让基线执行焦点操作，，，，，包管比照公正性。。。。。 设计RAPID-No-Adapt（移除双适配？？？？？椋APID-No-Shape（移除形状适配？？？？？椋APID-E2E（跳过双阶段训练，，，，，直接端到端训练）三组消融实验，，，，，验证各焦点？？？？？楹脱盗氛铰缘男胍。。。。。 别的，，，，，动力学嵌入的可视化效果显示，，，，，其特定维度与物体柔软度呈强相关性，，，，，且能实时跟踪物体刚度的动态转变，，，，，证实RAPID实现了对变形物体动力学特征的在线精准推断。。。。。 泛化能力突出：首次实现对未见动力学、种别、实例变形物体的零样本操作，，，，，适配从柔软丝带、布推测刚性线缆、钱包的全规模物体，，，，，突破古板要领“一类一训”的局限；；
； 场景鲁棒性高：无需物体支解、浓密形貌符等中心表征，，，，，直接从视觉和行动信息推断动力学，，，，，可应对真实场景的遮挡、非俯视视角、光照转变等问题；；
； 训练效率优异：全程基于仿真训练，，，，，无需收罗标注真实天下数据，，，，，大幅降低研发本钱，，，，，相比真实数据驱动要领更易规模；
；乒悖；
； 实时性知足实操：仅通过机载传感器实现在线推断，，，，，嵌入特征周期性更新的设计，，，，，兼顾实时性与行动稳固性，，，，，知足真实操作的时间要求。。。。。 物体规模有约束：实验工具均为小型桌面变形物体，，，，，未验证对大标准物体（床单、地毯）和特殊变形物体（粘弹性物体、流体）的适配能力；；
； 情形假设较理想：假设实验情形为静态，，，，，未思量真实场景中的动态滋扰（如物体碰撞、人为滋扰），，，，，易导致动力学推断和行动妄想失效；；
； 依赖仿真粒子建模：要领焦点依赖仿真中粒子位置对形态转变的表征，，，，，若粒子建模与真实物体形态转变纪律误差较大，，，，，会降低sim2real迁徙性能。。。。。 RAPID的焦点价值，，，，，在于首次买通了快速运动适配框架从刚体到非刚体的扩展路径，，，，，提出了粒子位置表征变形物体形态转变的新范式，，，，，为变形物体未知动力学适配提供了通用要领论。。。。。