在首日举行的“Synthetic Data for Robot Learning” Workshop上，，，，，，哥伦比亚大学助理教授李昀烛（Yunzhu Li）揭晓了题为“Structured World Models as Scalable Data Enginesfor Robot Policy Training and Evaluation”的演讲，，，，，，直击了当今具身智能领域面临的焦点痛点：真实物理交互数据收罗本钱极高，，，，，，且模子试错与评估极其难题。。
。。。
。 为此，，，，，，他提出将结构化天下模子（Structured World Models）作为机械人战略训练与评估的“无限数据引擎”。。
。。。
。演讲指出，，，，，，纯端到端大模子缺乏物理知识，，，，，，而纯物理引擎又受限于严苛的视察条件。。
。。。
。团队从而开发了一条融合两者优势的“中心蹊径”： （编者按：雷峰网·AI科技谈论此前在《MIT具身智能达人志》一文中有提及李昀烛亲历 Learning 深刻改变机械人领域的履历，，，，，，MIT博士结业后，，，，，，李昀烛在哥伦比亚大学任职推进天下模子与多模态感知。。
。。。
。） 谢谢主持人的先容。。
。。。
。今天我很是幸运能与列位分享我们在“构建情形结构化天下模子”偏向上的最新探索。。
。。。
。我将向各人展示，，，，，，怎样将这些天下模子转化为强盛的数据引擎，，，，，，以赋能机械人战略的训练与评估。。
。。。
。 最近，，，，，，机械人的某些子领域正履历着爆炸式的突破——好比现在满地跑的人形机械人，，，，，，或者越来越普及的自动驾驶。。
。。。
。但当我们把眼光转向“与情形的重大物理交互”时，，，，，，我们究竟走到了哪一步？？？？离真正人类水平的操作能力尚有多远？？？？ 只管学术界天天都有种种炫酷的 Demo刷屏，，，，，，但工业界真正大规模安排的，，，，，，依然是针对规则几何体的简朴“拾取与安排”机械人。。
。。。
。这显然不是888集团最终愿景。。
。。。
。不但能驾驭结构化情形，，，，，，还能在充满未知的非结构化场景中游刃有余；；；不但能摆弄刚硬的铁块，，，，，，还能处置惩罚柔软易变的柔性物体，，，，，，从而胜任长周期、大跨度的重大使命。。
。。。
。要做到这些，，，，，，系统所需的泛化与顺应能力，，，，，，必需远远甩开现有的手艺基线。。
。。。
。 看到大语言模子和视觉模子的惊人乐成后，，，，，，许多人自然会问：这套基础模子的打法能直接复刻到机械人上吗？？？？现在主要有两条蹊径：一种类似“搭积木”，，，，，，将基础模子与舷连系，，，，，，构建一些结构化的中心接口，，，，，，以便将基础模子的知识转达给机械人；；；另一条蹊径则是“端到端”。。
。。。
。构建这种端到端模子通常有两种方法：从视觉语言模子（VLM）举行预训练，，，，，，或者从天下模子/视频模子举行预训练。。
。。。
。 然而挑战依然跬步不离：好比可控性，，，，，，模子真的会听从你对机械人的指令吗？？？？能否仅仅通过改变语言指令，，，，，，就能轻松指导机械人从一个使命无缝切换到另一个使命？？？？更致命的是，，，，，，视觉语言大模子基础不懂底层的物理规则，，，，，，怎样将展望的视频画面落实到下游底层的物理运动控制中，，，，，，仍然是一个未解决的问题。。
。。。
。别的系统还面临着可调试性和可扩展性的问题。。
。。。
。只管人们在推动“基础模子与机械人操作连系”方面取得了很大希望，，，，，，但仍有许多需要解答的问题。。
。。。
。 我以为，，，，，，在这个拼图中缺失的最要害一环，，，，，，就是情形模子（Models of the environment）。。
。。。
。这个模子可以是基于物理的、基于学习的，，，，，，回首一下，，，，，，正是由于这种模子的保存，，，，，，火箭才华升空、无人机才华遨游，，，，，，甚至四足机械狗能在野外狂奔。。
。。。
。虽然模子永远不可能 100%完善，，，，，，但正是它们，，，，，，让机械在真实的物理天下中拥有了驻足之本。。
。。。
。 关于机械人的灵巧操作而言，，，，，，我们也必需在它的大脑里建设一个物理天下的“心理模子（Mental Model）”。。
。。。
。我们需要能够展望：当机械臂推出去时，，，，，，面团会怎么变形？？？？洋葱块会怎样滚落？？？？正是这种正向展望能力，，，，，，赋能了机械人的行为妄想。。
。。。
。 那么，，，，，，怎样构建这个模子？？？？若是把手艺蹊径比作一个光谱：光谱最左边是纯基于学习（Pure learning-based）的要领，，，，，，例如DeepMind 的 Genie 3就是这个偏向上的绝佳代表；；；光谱最右边则是纯依赖物理规则的要领，，，，，，好比NVIDIA Warp/Flex。。
。。。
。这两头各有千秋，，，，，，但我最焦点的考量是：这两头的中心地带是否保存某种“黄金地带”，，，，，，能把两者的优势一网打。。
。。。
？？？？ 已往几年，，，，，，888集团谜底是：以图（Graph）为焦点的神经动力学模子。。
。。。
。我们将物体拆解为无数个粒子，，，，，，以此来形貌刚性和可变形物体内部及相互之间的物理约束规则。。
。。。
。我们在CoRL 大会上拿过最佳系统论文的一个案例，，，，，，就是让机械人捏面团。。
。。。
；；；等丝梢允褂盟婊3D打印的工具，，，，，，在面团上随便“把玩”十几分钟，，，，，，888集团神经动力学模子能够展望出：当你使用特定工具施加特定行动时，，，，，，面团的形状会怎样爆发形变。。
。。。
。这种展望能力让机械人能够举行行为的逆向妄想，，，，，，并最终乐成把面团做成饺子。。
。。。
。 同样的逻辑，，，，，，我们也完善应用到了不规则的颗粒物重排、多物体重大碰撞等高难度使命中。。
。。。
。例如我们可以妄想机械人的行为，，，，，，将颗粒重新漫衍成差别的目的形状，，，，，，也就是从字母 A 到 Z 的形状。。
。。。
。这是一个高度重大的使命，，，，，，涉及到颗粒物极不规则的重新漫衍，，，，，，以及与目的字母形状的细粒度对齐。。
。。。
。 前两年的年底，，，，，，我们在《Science Robotics》上揭晓了一篇综述论文，，，，，，回首了已往十多年里关于“用于机械人操作的基于学习的动力学模子”研究。。
。。。
。这篇论文的整体结构正是建设在我昔时博士论文的框架之上的。。
。。。
。它真正反应了已往几年我们在构建该领域模子时，，，，，，对其中无数细微差别与权衡的深度思索。。
。。。
。 我们绝不可永远被困在实验室的桌面上，，，，，，而是要扩展到更普遍的自然场景数据网络中去。。
。。。
。行业内正投入量的人力物力去真实天下里收罗物理交互数据。。
。。。
。若是这些带着极高“物理含金量”的数据，，，，，，最后仅仅被拿去跑一个简朴的模拟学习，，，，，，那简直是暴殄天物！在这些带有行动条件的真实数据中，，，，，，蕴含着很是富厚的物理定律。。
。。。
。我们完全可以把它们提炼成动力学模子，，，，，，进而向构建“用于机械人战略训练和评估的可扩展数据引擎”的目的迈进。。
。。。
。 我们再回首一下适才提到的谁人手艺光谱，，，，，，我们在偏向“基于物理建模”偏向上做了一项焦点事情：建可变形物体的数字孪生数字孪生是什么意思是一个包括可变形物体外观、几何形状和动力学特征的物理学实体副本。。
。。。
。 各人在左边看到的是输入我们系统的实拍视频。。
。。。
。中心，，，，，，我们展示了重修出的、随时间追踪的物体几何形状，，，，，，以及用于形貌人类手部输入行动轨迹的球体网络；；；在右侧，，，，，，配景是实拍视频，，，，，，远景是我们基于行动条件渲染出来的3D视频展望它们完善重合。。
。。。
。有了这个数字孪生体，，，，，，你甚至可以用鼠标键盘像玩沙盒游戏一样去揉捏那块虚拟布料。。
。。。
。这个框架同样适用于布料、绳索等其他可变形物体。。
。。。
。 这项事情一经宣布，，，，，，Google 机械人团队的朋侪就找上门来，，，，，，希望用这套模子来做战略评估。。
。。。
。为什么？？？？由于关于 Google这样的大厂，，，，，，训练一个基础模子可能会产出成百上千个Checkpoints，，，，，，但由于真机测试太慢，，，，，，他们只能挑屈指可数的几个扔到物理天下里去跑，，，，，，测一轮就得等上一两天。。
。。。
。 这是目今机械人研发最致命的效率瓶颈。。
。。。
。他们其时向我吐槽：“哪怕全靠烧钱堆真机，，，，，，我们硬磕也能磨出效果来。。
。。。
。”——但条件只是针对桌面情形的简朴Gemini 机械人使命。。
。。。
。若是他们转向运行周期更长、规模更大、更重大的使命，，，，，，这种砸钱堆真机的迭代速率就会断崖式下跌。。
。。。
。 为相识决这个痛点，，，，，，我们彻底简化了这种“数字孪生”的构建流程。。
。。。
。现在，，，，，，我们只需要拿着相机绕着物体走一圈，，，，，，就能捕获机械人、配景和物体的外观及几何形状，，，，，，并通过一再简短的现实交互来捕获物体的动力学特征。。
。。。
。 各人可以比照第一排的仿真情形和第二排的真真相形。。
。。。
。一个仅仅用真实数据训练出的战略，，，，，，在数字天下里体现出的乐成率与失败姿态，，，，，，与物理真实天下实现了极其惊人的线性相关性。。
。。。
。 于是我们真正将这个数字引擎用于模子评估。。
。。。
。在这里，，，，，，我们评估了一系列当下最盛行的战略算法，，，，，，以及轻量级的 VLA模子，，，，，，并跨越了多个差别的 Checkpoints。。
。。。
。你可以看到，，，，，，在许多差别的使命中，，，，，，888集团数字仿真情形在乐成率展望上，，，，，，与真真相形实现了高度线性的相关。。
。。。
。 但这里我必需严肃强调：任何做“模子评估”的研究，，，，，，都必需对测试协议怀有敬畏之心。。
。。。
。我们借鉴了丰田研究院（TRI）的严苛标准：我们必需极其严酷地控制并明确训练和评估时的数据漫衍，，，，，，以此来确保在差别模子间举行的是完全公正的较量。。
。。。
。 在我的实验室，，，，，，我甚至定下一条铁律：学生在真机评估时，，，，，，必需向我展示初始状态的半透明叠影，，，，，，我直接对他们说，，，，，，若是不给我看这个叠加图，，，，，，我就完全不相信你们的测试效果。。
。。。
。 为了确保所有的初始状态在差别战略间、尤其是在真真相形与数字仿真情形间绝对一致，，，，，，每次我们在真机上摆放测试物体时，，，，，，都会像左图那样使用半透明叠加轮廓。。
。。。
。学生必需将实物严丝合缝地对齐在轮廓内，，，，，，确保初始设置的一致性。。
。。。
。 依附这种严谨，，，，，，我们可以在统一个战略架构内筛选出最佳的Checkpoint，，，，，，如这个折线图所示，，，，，，仿真引擎测出的乐成率（数字图）与真机乐成率完善对齐。。
。。。
。有趣的是，，，，，，有时间体现最好的Checkpoint 未必是你训练到最后的那一个，，，，，，反而往往泛起在训练的中期。。
。。。
。 最近，，，，，，我也联合建设了一家首创公司，，，，，，推进这一理念落地，，，，，，看看这种数字情形事实能无限迫近真实天下到什么田地。。
。。。
。如视频所示，，，，，，左边是真真相形，，，，，，右边是孪生数字情形。。
。。。
。这是一个极其重大的操作使命，，，，，，最终机械人必需将这两个齿轮插入一个公差很是小的孔位中。。
。。。
。各人在这里看到的是一个完全“只用纯仿真数据”训练出来的战略模子，，，，，，但它的真机行为体现，，，，，，与数字情形中的推演依然坚持了极高的相关性。。
。。。
。 我们可以使用这个数字孪生引擎源源一直地天生海量训练数据。。
。。。
。由这些数据训练出的模子战略，，，，，，能够直接安排在真真相形中，，，，，，不中止且非？？？？煽康厥虑。。
。。。
。这有力地证实晰，，，，，，由底层物理规则驱动的结构化天下模子，，，，，，完全有能力捕获现实中物理交互的细微误差与重大性，，，，，，从而帮我们训练出足以真机落地的鲁棒战略。。
。。。
。 这里是柔性线缆的插拔操作的演示。。
。。。
。你不但能看到两者在渲染外观上匹配得极其逼真，，，，，，甚至在操作历程中，，，，，，系统也完善重现了线缆由于受力不均所体现出的种种异质物理形变。。
。。。
。我们在展览厅的 72 号展位与 Analog Devices联合举行现场实机演示。。
。。。
。若是各人感兴趣，，，，，，非；；＝哟淹Ч。。
。。。
。 适才是偏向“物理先验”的路径，，，，，，接着，，，，，，我们把眼光投向光谱的另一端，，，，，，即“拥抱数据、相信鼎力大举出事业”的纯基于学习的偏向。。
。。。
。由此，，，，，，我们开发了一项名为“交互式天下模拟器”的事情。。
。。。
。 这是一个物理交互语境下的、基于行动条件的视频天生/展望模子，，，，，，也是该领域首个真正让我感受突破的效果。。
。。。
。它证实晰纯AI的视频展望模子完万能胜任长周期的、包括高度非平庸的柔性物体交互使命。。
。。。
。 它不但能以 15 帧/秒的速率，，，，，，天生了凌驾 10 分钟的行动条件展望视频，，，，，，它不但能推演刚体与柔性体的交织互动，，，，，，甚至还能实时响应。。
。。。
。我的学生在这边操控着遥操作手柄，，，，，，马上就能在谁人平行宇宙里的AI模拟器中瞬间渲染出对应的物理反响。。
。。。
。这套系统同样适用于推T型、抓杯子以及多物体交互等重大操作。。
。。。
。 第一，，，，，，你可以看到视频展望模子完全明确了夹爪与绳索之间的物理拓扑约束。。
。。。
。它具备真实的 3D深度明确能力，，，，，，知道这根绳子是在夹子的上方，，，，，，照旧已经被塞进了夹子内部；；； 第二，，，，，，模子精准地捕获了夹爪与马克杯之间细微的接触交互。。
。。。
。当你张开夹爪、闭合夹爪，，，，，，或者是去推杯子的边沿、推杯子的把手时，，，，，，模子都会响应地展望出杯子差别的旋转轨迹；；； 第三，，，，，，你甚至能在这个纯AI天生的视频里，，，，，，把杯子从 3D空间中举起来，，，，，，放在高处的盘子上。。
。。。
。系统确保了差别摄像机视角在三维空间中的绝对一致性。。
。。。
。 那么，，，，，，这个“极其逼真的幻觉天下”究竟有什么用？？？？正如我开篇所述，，，，，，这依然效劳于888集团焦点愿景：一是战略训练，，，，，，二是战略评估。。
。。。
。 我们在训练时，，，，，，没有收罗哪怕一条真实的物理天下数据，，，，，，所有数据全都是在这个天下模拟器里天生的虚拟轨迹。。
。。。
。然而令人受惊的是，，，，，，靠纯虚构数据喂出来的战略模子，，，，，，居然可以在重大的“绳索布线”、“杂物清扫”中实现现实天下零样本落地。。
。。。
。纵然画面里有外人一直伸手去滋扰机械人，，，，，，机械人的体现依然坚如磐石。。
。。。
。这种体现同样适用于抓取马克杯、扫除杂物以及井字棋使命。。
。。。
。 这就引出了一个最终问题：几多条虚拟数据，，，，，，才华抵得上一条真实的数据？？？？为了回覆这个问题，，，，，，我们做了一项消融实验，，，，，，从 100%虚拟到 100% 真实，，，，，，一直调理训练集里虚实数据的配比。。
。。。
。 我们横向评测了当今最能打的几套战略算法：Diffusion Policy、ACT以及Pi0模子。。
。。。
。甚至最新的大模子架构pi_0。。
。。。
。得出的结论很是震撼：所有模子的体现都坚持了跨度极高的一致性。。
。。。
。并且这种纪律在差别使命间完善迁徙。。
。。。
。 我可以大胆放言：在888集团天下模拟器中天生的一条虚拟轨迹数据，，，，，，在训练价值上，，，，，，险些 100%等效于你在真机上辛勤收罗的一条真实数据。。
。。。
。 我们也会拿这个天下模子来做战略评估。。
。。。
。各人现在看到的是仅用真实数据训练好的战略，，，，，，我们将它同时安排在上面这排的虚拟天下模拟器中，，，，，，和下面这排的真实物理空间中。。
。。。
。两条轨迹险些完善同步；；；若是在底层做定量的误差评估，，，，，，它们的数值对齐水平也很是高。。
。。。
。 我顺带提个有趣的插曲：几个拿着Y Combinator投资的年轻创业者，，，，，，直接拿我们开源的模子去搞商业化融资。。
。。。
。我去看了眼他们宣发的BP博客，，，，，，心想：“好家伙，，，，，，这图看着可真眼熟。。
。。。
。　 总之，，，，，，这完善印证了我的焦点看法：连系了却构的“结构化天下模子”，，，，，，完全可以作为一种无限可扩展的数据引擎，，，，，，扛起大规；；；等四Ｗ友盗酚胙橹さ闹厝。。
。。。
。我们完全可以把这些数据的价值榨干：通过它们训练出极端富厚的天下模子，，，，，，再用天下模子反哺数据的天生。。
。。。
。 最后，，，，，，我想向我所有的相助者致以最深切的谢谢。。
。。。
。没有他们，，，，，，完成这些重大的工程系统简直是天方夜谭，，，，，，尤其是我的学生们，，，，，，他们肩负了我适才所展示事情里险些所有最沉重的开发和推演。。
。。。
。我还要谢谢我实验室的赞助商们，，，，，，他们经常提供很是敏锐的行业需求视角，，，，，，启发了我们今天的许多研究偏向。。
。。。
。 李昀烛：这是一个很是好的问题。。
。。。
。图实质上是对物理情形的一种降维笼统。。
。。。
。你可以自由调理加入盘算的节点或粒子数目，，，，，，算力主要时，，，，，，你可以把它当成希罕的“要害点”来算。。
。。。
。 以是，，，，，，这实质上是一个在“算力”与“精度”怎样平衡的问题。。
。。。
。你可以动态调解这个参数，，，，，，从而在盘算效率和仿真效果之间找到最佳折中点。。
。。。
。你需要找到谁人最精简、却又能恰恰兜住下游使命所需物理信息的平衡点。。
。。。
。 听众B： 您能详细讲讲 3D 高斯溅射与基于图的表征在您系统里的关系吗？？？？另外，，，，，，在评估时究竟要给算法喂几多演示数据才算公正？？？？由于差别算法需要的演示形态纷歧样，，，，，，您怎么界说泛化能力的基准呢？？？？ 李昀烛：这是一个很是内行的提问，，，，，，我必需要澄清：在888集团架构里，，，，，，高斯点仅仅认真情形的光影和外观渲染。。
。。。
。而涉及系统最焦点的物理底层，，，，，，也就是我们说的现实动力学建模，，，，，，我们完全使用的是图节点和粒子网络。。
。。。
。 以面团的仿真为例，，，，，，我们用基于图的神经动力学模子来算面团的变形，，，，，，并在图的网络结构上套上麋集弹簧质点约束来控制它的物理拉伸。。
。。。
。这意味着，，，，，，在888集团架构里，，，，，，动力学建模引擎与视觉渲染引擎实质上是相互解耦的：高斯管渲染，，，，，，Graph管物理。。
。。。
。两者在解耦的同时，，，，，，通过图形学里经典的“线性混淆蒙皮”手艺绑定在一起。。
。。。
。 关于评估的严谨性，，，，，，我们在实证数据上极其苛刻，，，，，，如我幻灯片所示，，，，，，我们硬性划定了极其严苛的统一套初始构型。。
。。。
。在比照时，，，，，，关于每种算法战略的每一个Checkpoint，，，，，，我们雷打不动地在真真相形里跑 20 次实测，，，，，，在数字情形里也跑 20次。。
。。。
。虽然在数字情形里我们一键就能跑一万次，，，，，，但为了绝对的侧边比对（Side-by-side），，，，，，我们取 20对 20。。
。。。
。 我幻灯片上那密密麻麻的散点图，，，，，，每一个点背后都是学生在台子上一丝不苟摆放 20次换来的真金白银的数据。。
。。。
。你可以数数我学生为了出这几张图究竟肝了多久，，，，，，这绝对是苦力活。。
。。。
。至于训练阶段，，，，，，我们就接纳行业通行的标准做法，，，，，，也就是喂给战略或许 50到 200 条演示数据。。
。。。
。 听众C： 您的模子泛化能力怎样？？？？好比，，，，，，若是现在换一个形状完全差别的小孩玩具，，，，，，或者换一条材质完全差别的绳子，，，，，，您的模子还能直接泛化吗？？？？它是能直接泛化，，，，，，照旧说我要重头为它训练一个新模子？？？？ 李昀烛：这是个极其直击痛点的问题！由于我们现在的数字孪生是通过“现实到仿真（Real-to-Sim）”的管线为眼前这个“特定物体”量身定制的，，，，，，以是它并不可零样本直接迁徙到新物体上。。
。。。
。幸亏现在的极简流程，，，，，，只需要几分钟就能构建出一个新数字孪生体。。
。。。
。 可是888集团星辰大海不止于此，，，，，，我们正在全力攻坚的一项事情，，，，，，就是从这批已经被辨识出的种种物体中，，，，，，“蒸馏”出一个更高维度的通用神经动力学模子。。
。。。
。888集团最终愿景是：只用这一个通用模子，，，，，，就能自然而然地泛化到所有奇形怪状的未知可变形物体上。。
。。。
。 听众D： 我很是震撼于您能把偏向 2D数据驱动的视频天生和偏向 3D 物理先验驱动的结构化重修完善连系。。
。。。
。我知道您的学术配景很偏向 CV，，，，，，都在狂堆 2D 端到端模子，，，，，，甚至有人喊出“3D 蹊径已死”，，，，，，站在您的视角，，，，，，您对未来的手艺国界有什么样的愿景？？？？这两条蹊径最终将以何种形态融合？？？？ 李昀烛：这是一个很是弘大的问题，，，，，，若是私下聊，，，，，，这个话题我们能激辩几个小时，，，，，，但我长话短说以表立。。
。。。
。何沂 3D手艺死心塌地的信徒。。
。。。
。 只要有一丝可能让系统跑在 3D 空间里，，，，，，我就会不吝一切价钱往三维靠拢。。
。。。
。哪怕是我在做“天生式视频展望”这项事情时，，，，，，我的底线也是必需做“多摄像机视角的联合推演”。。
。。。
。也就是说，，，，，，纵然是跑 2D 的视频大模子，，，，，，它的大脑里也必需含有一定水平的三维空间明确能力。。
。。。
。 从久远来看，，，，，，我绝对认可纯数据驱动蹊径那恐怖的潜力——只要算力一直，，，，，，但至少现在，，，，，，它的泛化性、多视角的物理一致性，，，，，，还差得太远。。
。。。
。 反过来看另一端的纯物理引擎呢？？？？逻辑虽然绝对严密，，，，，，但它苛求完整的情形状态信息，，，，，，这种理想条件在自然场景里基础不现实。。
。。。
。正由于看到了两者的极限，，，，，，我才一直死磕这个问题：我究竟能在光谱两头的中心地带找到什么？？？？ 我坚信，，，，，，最终能改变天下的谁人大模子，，，，，，一定会坐落在 3D 物理结构与 2D海量数据的交汇处。。
。。。
。我们要寻找的是那把最精简的“物理先验”钥匙，，，，，，并让它在无尽的真实数据浪潮中自我进化。。
。。。
。这，，，，，，才是通向通用机械人时代的最终配方。。
。。。
。