蔡志鹏博士（https://zhipengcai.github.io/）是美国 Meta 公司的高级研究员，，，，，，，博士结业于澳大利亚阿德莱德大学。。。。。他的研究主要集中在 Physical Intelligence，，，，，，，包括三维视觉、多模态大模子等。。。。。他的事情已在领域顶级聚会杂志上揭晓凌驾 20 篇。。。。。其中 10 篇文章被选为顶级聚会口头或特邀报告，，，，，，，对鲁棒预计盘算重漂后的理论证实事情被选为 ECCV18 12 篇最佳论文之一。。。。。 Meta 宣布了一项令人震撼的研究事情 VLM?，，，，，，，首次展现了三维视觉学习的 Bitter Lesson：标准的视觉语言模子 + scale 数据就是最简朴有用的范式，，，，，，，针对特定使命的架构、损失函数以及数据增强的设计，，，，，，，甚至是 regression 的 formulation，，，，，，，均不是三维视觉学习的须要条件。。。。。 目今的视觉语言 AI 模子（Vision Language Models, VLMs）通过统一的模子架构能够无邪处置惩罚州差别的视觉使命。。。。。然而，，，，，，，只管在语义明确、视觉问答、图像指令等使命上体现优异，，，，，，，它们在三维视觉方面仍然体现不佳。。。。。相比之下，，，，，，，专家视觉模子（expert vision models）在绝对深度预计（metric depth estimation）等三维明确使命上，，，，，，，依附专门设计的网络结构、损失函数及数据增强，，，，，，，已经抵达了逾越人类的精度。。。。。 这就带来了一个焦点问题：「视觉语言模子是否在三维视觉学习方面无法替换专家模子？？？？？？？」VLM? 首次证实晰该问题的谜底是否定的！ VLM? 通过极简的设计，，，，，，，在极为多样的三维视觉使命中媲美或逾越专家视觉模子，，，，，，，并大幅逾越最先进的视觉语言模子：1）在单目深度预计上 match UnidepthV2 及 MoGe2；；；
；；2）在目的级三维明确使命上逾越 SpatialRGPT；；；
；；3）在像素匹配使命上逾越 DKM 和 RoMa；；；
；；4）在相机姿态预计上 match DA3，，，，，，，逾越 VGGT。。。。。 VLM? 通过详尽的实验发明，，，，，，，标准的 VLM 仅需要 1）相机焦距归一化；；；
；；2）像素空间归一化，，，，，，，就能够以令人赞叹的精练方法有用学会种种三维视觉模子，，，，，，，在 1）单目深度预计中 match UniDepthV2 及 MoGe2；；；
；；2）在目的级别三维明确逾越 SpatialRGPT；；；
；；3）在像素匹配使命上逾越 DKM 和 RoMa；；；
；；4）在相机姿态预计上 match DA3 并逾越 VGGT。。。。。 和之前的三维视觉 VLM 差别，，，，，，，VLM? 既不需要改变 VLM 的架构，，，，，，，也不需要在图片上渲染 marker。。。。。相比于专家视觉模子需要大宗的架构、损失函数及数据增强方面的重大设计，，，，，，，VLM? 仅需要标准的 VLM 架构（如 Qwen3-vl-4B）和训练（基于文字的 SFT）就能够在极为多样的三维使命上抵达 SOTA。。。。。 这种精练的训练推翻了之前三维视觉的学习范式，，，，，，，并展现了三维视觉的 Bitter Lesson：我们着实完全不需要针对特定三维视觉使命人为设计重大的架构、损失函数及数据增强。。。。。通过简朴的视觉语言建模 + scale 数据就能够抵达同样的效果，，，，，，，并且于其他非三维视觉使命在统一的语言模子训练框架下完全兼容。。。。。这使得三维视觉不再需要与视觉语言模子的大规模预训练疏散，，，，，，，同时我们能够使用同样的方法来实现三维视觉的 scaling law。。。。。 同时 VLM? 的乐成也意味着三维视觉的学习远比我们想象中的要容易：除开不需要特殊架构、损失函数等，，，，，，，我们甚至可以不依赖回归（regression）来学会 fine-grained 3D understanding，，，，，，，这在之前的事情中是难以想象的，，，，，，，由于在一连的输出空间举行回归是绝大大都三维视觉模子的焦点设计。。。。。 VLM? 重新界说了三维视觉的最佳学习范式：最简朴的 generalist 架构如 VLM 及 scaling 就是最通用的三维视觉范式！已往三维视觉领域普遍接纳的人为的 task-specific 的设计并非必需。。。。。 这将极洪流平地简化三维基础模子的构建。。。。。通过将三维视觉使命融入视觉语言模子的预训练，，，，，，，我们也能有用地兼容三维视觉与其它视觉使命，，，，，，，并将 VLM 的优势，，，，，，，及无邪性与泛化性从语义及二维视觉使命有用拓展至三维视觉，，，，，，，极洪流平提升模子的能力上限。。。。。 VLM? 的泛起，，，，，，，首次买通了视觉语言模子与三维视觉之间的壁垒，，，，，，，使得统一的架构就能够精练地学会种种视觉使命，，，，，，，并抵达专家模子的性能。。。。。这既是科研层面的里程碑，，，，，，，也为未来在现实系统中统一多模态推理能力提供了可能。。。。。我们期待 VLM? 后续在机械人、自动驾驶、增强现实等场景中的落地应用。。。。。