刚刚，，，，，AI视觉领域的领武士物李飞飞及其 World Labs 团队宣布了一篇关于“天下模子（World Models）”的深度文章（后附中英全文），，，，，瞬间引发整个AI业界的强烈关注。。。。。。 语言模子让机械掌握了词汇和推理，，，，，但李飞飞指出，，，，，物理天下的运行基底截然差别——天下并不是由语言组成的。。。。。。真正的天下模子，，，，，必需能学习空间和时间的统计结构，，，，，好比光线怎样落下、物体怎样遵照物理定律等。。。。。。 为了厘清看法，，，，，文章追溯了强化学习中经典的“智能体-行动-状态-视察值”循环（POMDP），，，，，并将现在市面上鱼龙混杂的天下模子，，，，，精准划分为三大功效门户： 现在市面上爆火的文生视频模子（如能天生影戏级无人机镜头的AI）多属于此类。。。。。。它们输出的是供人类寓目的“像素”视察值，，，，，焦点追求视觉保真度。。。。。。但这层表象极具诱骗性，，，，，它们并不明确三维结构。。。。。。无人机镜头从上方看完善无瑕，，，，，但一旦实验在下方的都会中穿行，，，，，结构就会完全崩塌。。。。。。 模拟器输出的是底层“状态”。。。。。。它不追求悦目，，，，，而是要求几何结构经得起推敲、动力学切合牛顿定律。。。。。。它可以作为专业人士的设计工具，，，，，或是自动驾驶和机械人的绝佳训练场。。。。。。 妄想器输出的是“行动”。。。。。。当吸收到视察画面和目的后，，，，，它能直接告诉智能体（如机械人）接下来该做什么。。。。。。视觉-语言-行动（VLA）模子就属于此类。。。。。。 文章转达了一个明确的隐形信息：不要被炫酷的AI视频疑惑了双眼。。。。。。渲染器优化视觉合理性而非物理准确性的局限性极其致命，，，，，你绝对不可用它来设计修建或训练机械人。。。。。。 真正被公众忽视、却至关主要的焦点枢纽是“模拟器”。。。。。。模拟是毗连视觉泛起与行动妄想的桥梁，，，，，掌握模拟，，，，，既可向上天生视觉画面，，，，，也能向下支持机械人的行动妄想。。。。。。 C端消耗级盈利（渲染器应用）：商业化最为成熟。。。。。。谷歌的 Nano Banana 模子已将该级别图像天外行艺推向数亿用户，，，，，图像与文本到视频的工具在企业和消耗市场正处于爆发期。。。。。。 万亿级B端工业市。。。。。。Ｄ馄饔τ茫赫馐羌渲卮蟮纳桃悼占。。。。。。英伟达的 Omniverse 平台正是瞄准了这一凌驾万亿美元的潜在市。。。。。。，，，，其焦点场景包括工厂、客栈和供应链的数字孪生，，，，，以及自动驾驶测试、修建可视化、工程与药物研发。。。。。。 具身智能机械人的未来（妄想器应用）：只管现在的机械人演示多局限于受控实验室，，，，，面临着数据欠缺和“虚实鸿沟”的挑战，，，，，但一旦妄想器取得突破，，，，，整个行业将迎来能在厨房、客栈或手术室中可靠事情的通用机械人。。。。。。 文章透露，，，，，未来的手艺终局将是统一天下基础模子（World Foundation Model），，，，，属于面向物理空间的新型基础模子。。。。。。它将突破渲染、模拟和妄想的界线。。。。。。 现在，，，，，World Labs 已经迈出了第一步，，，，，其首款产品 Marble 可吸收文本、图片、视频、空间草图四类多模态提醒，，，，，天生可交互探索的 3D 情形，，，，，同时输出视觉用的高斯泼溅数据和物理引擎用的碰撞网格。。。。。。 在早先的一篇文章中，，，，，我们提出空间智能（spatial intelligence）是人工智能的下一个前沿，，，，，而天下模子（world models）则是通往这一目的的路径。。。。。。在此，，，，，World Labs 团队和我希望做进一步的深入探讨：在现在众多被构建并被称为“天下模子”的事物中，，，，，事实是哪些功效组件真正组成了这种能力？？？？？？它们各自的作用又是什么？？？？？？语言模子付与了机械对看法、词汇和推理的非凡掌控力，，，，，但物理天下（无论是虚拟的照旧现实的）运行在一种截然差别的基底上。。。。。。语言模子学习的是文本的统计结构，，，，，而天下模子学习的则是空间和时间的统计结构：光线怎样落在物体外貌，，，，，从一个从未有相机捕获过的角度看花园是什么样子，，，，，以及物体怎样对力做出反应并遵照物理定律。。。。。。 这使得“天下模子”成为当今 AI 领域最主要、同时也是被太过使用的术语之一。。。。。。盘算机视觉、机械人学、强化学习和天生式 AI 都声称在构建天下模子，，，，，但它们各自所指的寄义却截然不同。。。。。。一个能天生华美却不切合物理纪律的火焰的视频模子，，，，，一个能即兴天生可玩游戏的语言模子，，，，，以及一个能忠实模拟燃烧历程的物理引擎，，，，，都在使用着统一个名称。。。。。。 古希腊人关于天下是由什么组成的（事实是火、水照旧不可支解的原子）从未告竣共识，，，，，由于“天下”历来就不是一个简单的事物。。。。。。它始终是特定头脑家在举行推理时所需要的某种“整体性”的代名词。。。。。。人工智能继续了同样的问题，，，，，而这恰恰爆发在该领域最需要准确性的时刻。。。。。。 要拨开这些迷雾，，，，，我们需要从一张比上述任何手艺都要古老的图表最先。。。。。。几十年来，，，，，包括萨顿（Sutton）和巴托（Barto）的经典课本在内的强化学习教科书，，，，，一直使用类似版本的图表来形貌智能体（agent）怎样与天下交互。。。。。。这张图的正式名称是“部分可视察马尔可夫决议历程”（Partially Observable Markov Decision Process，，，，，简称 POMDP），，，，，而“天下模子”一词的最初界说正是源于这一古板。。。。。。 智能体（可以是一小我私家、一个机械人或一个软件系统）会接纳行动（actions）。。。。。。这些行动会影响天下的状态（state）。。。。。。智能体永远无法直接看到这种状态。。。。。。智能体所吸收到的是视察值（observations）：落在视网膜上的光子、传感器的读数，，，，，以及视频帧中的像素。。。。。。新的视察值指导新的行动，，，，，这一循环由此一直继续。。。。。。 我们需要对“状态（state）”一词举行剖析，，，，，由于它的寄义在差别领域中有所转变。。。。。。这不是化学家眼中的状态（如固态、液态和气态的区别）。。。。。。这是物理学家和机械人学家眼中的状态：对特准时刻天下中正在爆发的事情的完整形貌，，，，，包括每一个物体、每一个位置、每一个速率和每一种属性。。。。。。状态是天下底层的现实；；；；；它在原则上是完整的，，，，，但对其内部的任何智能体来说，，，，，永远无法直接全景可见。。。。。。视察值是智能体对该现实的局部视图，，，，，而行动则是智能体做出的回应。。。。。。 这个从智能体到行动、再到状态、再到视察值并循环往复的结构，，，，，付与了现代术语“天下模子”其手艺寄义。。。。。。这个词组自己的历史更为悠久，，，，，可追溯至肯尼斯?克雷克（Kenneth Craik）1943 年提出的理论：人类心智通过运行现实的“微缩模子”举行推理，，，，，并在 20 世纪 80 年月末和 90 年月初被引着迷经网络。。。。。。这一循环也诠释了人们现在使用该术语时的真正寄义。。。。。。现在那些被称为天下模子的州差别事物，，，，，现实上都是这个统一循环的差别投影。。。。。。它们各自输出该循环中的差别部分。。。。。。 渲染器以人类肉眼可见的像素形式输出视察值，，，，，其最主要的品质是视觉保真度。。。。。。一个将文本提醒转化为影戏级无人机镜头的视频模子就是一个渲染器。。。。。。像谷歌的 Genie 3 或 World Labs 自己的 RTFM 这样的交互式系统也是云云，，，，，模子会在用户输入的条件下实时天生画面帧。。。。。。这类模子并不具备对三维结构的显式明确。。。。。。它天生的是视察者“将会看到的”情形，，，，，而非“现实保存的”实体。。。。。。无人机镜头中的修建物从上方看可能完善无瑕，，，，，但若是试着在下方的都会中穿行，，，，，它们就会支离破碎。。。。。。 模拟器输出的是状态：一种在几何、物理或动力学上高度忠实的对天下的表征，，，，，人类和盘算机程序都可以对其举行盘算和交互。。。。。。若是说渲染器的左券纯粹是视觉层面的，，，，，那么模拟器的左券则是结构层面的，，，，，它要求几何结构经得起推敲，，，，，物理机制遵照牛顿定律，，，，，动力学体现切合物理定律下天下应有的运作方法。。。。。。模拟器同时效劳于两类用户群体。。。。。。修建师、设计师、影戏制作人和游戏开发者等人类专业人士，，，，，需要逾越纯粹视觉合理性的准确度；；；；；而强化学习智能体、机械人控制器和自动驾驶汽车等盘算机程序，，，，，则将模拟器作为训练。。。。。。，，，，使其能够大规模地与天下举行交互，，，，，测试那些在现实中危险、腾贵或基础无法执行的场景。。。。。。 妄想器输出的是行动。。。。。。给定一个视察值和一个目的，，，，，妄想器能够回覆“智能体接下来应该做什么”的问题。。。。。。在许多方面，，，，，这正是渲染器的逆历程。。。。。。渲染器以行动为输入并爆发视察值，，，，，而妄想器则以视察值为输入并爆发行动，，，，，从而闭合了感知-行动循环。。。。。。视觉-语言-行动（VLA）模子、基于模子的系统，，，，，以及新一波的天下行动模子（World Action Models），，，，，都是对妄想器的实验：这些系统旨在决议机械人在非结构化天下中该做什么。。。。。。 这三个种别涵盖了现在现实落地的绝大大都产品，，，，，它们之间的区分在实践中很是有用。。。。。。然而，，，，，这些种别在实质上并不是完全割裂的。。。。。。它们底层都基于关于天下怎样运作的相同知识——几何学、物理学、动力学。。。。。。一个能够从任何角度渲染一个杯子的模子，，，，，原则上应当能够模拟推开杯子时会爆发什么，，，，，并妄想出用手去拿起杯子的行动。。。。。。越来越多最有趣的研究，，，，，都在刻意模糊这三者之间的界线。。。。。。 渲染器是现在商业化最成熟的。。。。。。许多图像或文本到视频（text-to-video）的产品正在消耗者或企业市场中快速扩张。。。。。。谷歌的 Nano Banana 模子已经将渲染器级别的图像天外行艺交到了数以亿计的用户手中。。。。。。手艺是真实的，，，，，市场也是真实的。。。。。。然而，，，，，渲染器优化的是视觉上的合理性，，，，，而非物理上的准确性，，，，，而这个上限是很是致命的。。。。。。它们的输出虽然细腻，，，，，但你不可指望用它们来设计修建或训练机械人。。。。。。 妄想器是最具吸引力也是最处于起步阶段的，，，，，它与快速生长的机械人学习领域亲近相关。。。。。。已往两年里，，，，，该领域展示了一些在视频中看起来令人印象深刻的机械人演示，，，，，但我们必需坦诚地看待这些演示的现实内容。。。。。。险些所有的演示都被限制在高度受控的实验室情形中，，，，，处置惩罚的物体种类有限，，，，，且使命周期很短。。。。。。没有一个在现实安排所需的重大性、可变性或一连时长上获得过验证。。。。。。从一段引人注目的演示视频，，，，，到一台能在厨房、客栈或手术室里可靠事情的机械人，，，，，两者之间的鸿沟依然重大。。。。。。只管云云，，，，，这一领域的商业押注十分重大。。。。。。一波资金充裕的新入局者正竞相推出通用妄想系统，，，，，而大型基础设施巨头们则将妄想能力构建在更普遍的模拟栈之上。。。。。。一个能够举行妄想的机械人就是一个能够现实事情的机械人，，，，，整个行业都在竞相成为第一个跨过这道终点线的赢家。。。。。。 模拟是毗连这两者的桥梁。。。。。。若是说语言是对天下的笼统，，，，，像素是对天下的投影，，，，，那么几何学、物理学和动力学就是天下自己。。。。。。模拟器必需在这个层面上运作：它作为结构性的主干，，，，，既能衍生出视觉外观（供渲染器使用），，，，，也能推导出行动效果（供妄想器使用）。。。。。。一个掌握了模拟的模子，，，，，可以将其对天下的明确投射成像素供人类视察，，，，，也可以投射成行动展望供具身智能体执行。。。。。。而一个仅仅掌握了渲染或仅仅掌握了妄想的模子，，，，，是做不到这两点的。。。。。。这里的商业空间是重大的。。。。。。单单是英伟达（NVIDIA）的 Omniverse 平台，，，，，就瞄准了该公司预计凌驾万亿美元规模的潜在市。。。。。。，，，，涵盖工厂、客栈、供应链和数字孪生等领域。。。。。。；；；；等搜盗贰⒆远菔徊馐浴⑿藿墒踊⒐こ躺杓埔约耙┪镅蟹ⅲ，，，，都依赖于具备模拟形态的手艺。。。。。。 该领域最难题的未解难题也都集中于此。。。。。。带有明确几何形状、质料属性和物理标注的三维数据，，，，，比渲染器用于训练的互联网视频要稀缺几个数目级。。。。。。“从模拟到现实（sim-to-real）”的鸿沟——即事物在模拟中的行为与在现实中的行为之间的差别——依然保存。。。。。。天生式模拟器在此之上还引入了新的危害：AI 天生的几何体可能看起来是准确的，，，，，但却包括了自相交或过失的比例，，，，，从而爆发谬妄的物理征象。。。。。。而包括刚体、可变形物体、流体和布料相互作用的大规模多物理场模拟，，，，，其盘算本钱依然比简单领域的模拟横跨几个数目级。。。。。。 在 World Labs，，，，，Marble 是我们向这一领域迈出的第一步。。。。。。它接受多模态提醒（文本、图像、视频或空间草图）并天生可探索的 3D 情形，，，，，同时输出用于视觉探索的高斯泼溅（Gaussian splats）以及物理引擎可运算的碰撞网格（collision meshes）。。。。。。但这仅仅是横跨整个领域正在誊写的漫长篇章的序章，，，，，由于渲染、模拟和妄想之间的界线已经最先消融。。。。。。 但这还只是最先。。。。。。现在该领域最主要的趋势是这三大种别正最先相互融合。。。。。。各人形成的一个共识是：渲染一个天下、模拟一个天下以及在其中接纳行动所需要的知识在很洪流平上是相同的。。。。。。继续前面的例子：一个真正明确杯子怎样安排在桌子上的模子（它的几何形状、质料属性、受力反应等），，，，，应当能够从任何角度渲染谁人杯子，，，，，模拟当它被推开时会爆发什么，，，，，并妄想出一只手去拿起它的行动。。。。。。这三个种别不过是对统一种底层明确的三个投影。。。。。。 例如：近期越来越多来自各个机械人实验室的研究批注——至少在看法层面上——一个预训练的视频渲染器可以用作联合展望天下与行动的基础主干，，，，，它通过让一个模子去想象“将会爆发什么”以及“该怎么做”，，，，，从而在渲染器和妄想器之间架起了一座桥梁。。。。。。World Labs 的 Marble 已经能够从简单模子中同时输出高斯泼溅和碰撞网格，，，，，消解了渲染器与模拟器之间的界线。。。。。。每一个层级都在从被动输出向交互式系统转变：渲染器变得受行动条件控制（action-conditioned），，，，，模拟器天生的情形变得更具可控性和可编辑性，，，，，而妄想器最先举行深图远虑的推演而不再是仅仅做出被动反应。。。。。。 它的逻辑终点是一个统一的天下模子：一个能够渲染逼真视图、天生准确物理结构，，，，，并妄想行动序列的基础模子（foundation model），，，，，它能够凭证下游消耗者的需求在差别的输出模态之间无邪切换。。。。。。我们依然面临诸多严肃的挑战。。。。。。数据国界是不平衡的：渲染器拥有海量的互联网视频资源，，，，，而模拟器和妄想器则面临 3D 资产和机械人演示数据极端欠缺的问题。。。。。。一味优化视觉美感可能会牺牲机械人或高保真模拟所需的准确度。。。。。。在简单架构内协调这些矛盾，，，，，是当今天下模子研究中极具决议性的开放难题，，，，，而这也正是 World Labs 在一直迭代 Marble 的历程中力争解决的目的。。。。。。 然而，，，，，前进的偏向是清晰的。。。。。。自 20 世纪 80 年月末以来，，，，，整个领域一直在押注这一点——一个足够富厚的天下模子，，，，，就是任何智能体去视察天下、构建天下并在其中接纳行动所需要的所有知识底座——现在，，，，，这一信心正在推动整整一代人的研究。。。。。。而付与这场“豪赌”分量的，，，，，是现在正在爆发的融合：三条最初各自自力的研发主线（其中任何一条都足以驱动和塑造数十亿美元规模的工业），，，，，现在正最先汇聚为一。。。。。。综合来看，，，，，随着它们之间界线的消融，，，，，它们将重塑一个越发弘大的图景：机械智能与其所栖息的物理天下之间的关系——这正是空间智能的漫长征程。。。。。。