具身基座模子（VLA、天下模子）这两年前进很快。。。。。但只要使命一长、场景一重大，，，，，，一个很现实的问题就会连忙泛起：机械人许多时间不是「不会做」，，，，，，而是「记不住」。。。。。好比： 柜子之前有没有翻开过？？？？？？物体被遮挡之前放到了那里？？？？？？某个重复行动已经执行了一再？？？？？？人类适才树模过的顺序究竟是什么？？？？？？ 这些都不是只看目今一帧图像就能解决的问题。。。。。也正由于云云，，，，，，我们越来越以为：现有许多机械人 benchmark 虽然在操作上已经很富厚，，，，，，但对 memory-dependent long-horizon manipulation 的描绘还远远不敷。。。。。 于是，，，，，，香港科技大学（广州）联合清华大学、浙江大学、西湖大学、上海交通大学等多所顶尖高校与科研机构配合打造了具身智能领域首个聚焦「机械人影象能力」的系统性评测基准RoboMemArena，，，，，，旨在填补恒久以来机械人在长时程使命与历史状态影象评估上的空缺。。。。。 该基准突破古板机械人 Benchmark 仅关注短期感知与即时控制的局限，，，，，，构建了涵盖物体转移、目的遮挡、行动计数与顺序执行四大焦点影象场景的综合评测系统，，，，，，共包括 26 项长时程使命、151 个细粒度子使命以及 2600 条专家演示轨迹。。。。。同时配套重大的真机测评和 leaderboard，，，，，，支持外部单位手动上传模子举行真机评测，，，，，，为具身智能系统在恒久妄想、天下状态明确与动态决议方面提供了更靠近真实天下的统一评测标准。。。。。 有些使命看起来很长，，，，，，但着实目今视察就足够决议；；；有些 benchmark 有长程执行，，，，，，却没有为 memory formation 提供直接监视；；；尚有一些事情只停留在 simulation，，，，，，没有配套的真实机械人验证。。。。。 RoboMemArena 想补上的，，，，，，正是这块空缺。。。。。它不是简朴做更多使命，，，，，，而是试图把「机械人究竟什么时间必需依赖历史信息」这件事，，，，，，系统化地组织起来。。。。。 这是我们最看重的一点。。。。。许多 memory benchmark 只能告诉你最终乐成照旧失败，，，，，，但若是模子真的要学会「记着已往」，，，，，，它需要的往往不但是最终标签。。。。。 subtask-level annotations：把长程轨迹拆成可执行、可明确的子使命；；；native keyframe annotations：显式标记那些真正主要的物理状态转折；；；与轨迹对应的视觉视察、行动和机械人状态。。。。。 也就是说，，，，，，我们不但告诉模子「这个使命要完成」，，，，，，还只管告诉它「历史里哪些瞬间值得记着」。。。。。这也是 RoboMemArena 和许多已有 benchmark 很是差别的地方。。。。。 若是一个 memory 要领只能在 simulation 里有用，，，，，，那它距离真正的 embodied system 照旧有一段距离。。。。。以是在 RoboMemArena 里，，，，，，我们不但做了仿真 benchmark，，，，，，还配套设计了5 个真实机械人 memory 使命： 我们不希望 RoboMemArena 只是一个「写论文用的 benchmark」，，，，，，也希望它能被厥后者真正拿来训练、复现和较量。。。。。以是在开放资源上，，，，，，我们只管把入口做完整： 开源26 个使命的高质量训练数据，，，，，，并带有子使命、要害帧、HDF5 轨迹结构等富厚标注；；；提供26 个 BDDL 使命界说、LIBERO-compatible evaluation environment，，，，，，以及与mujoco + robosuite + OpenGL/EGL兼容的评测路径；；；开放PrediMem相关训练与评测实现入口，，，，，，并已经系统跑出π0.5、MemoryVLA、MemER、HiF-VLA等代表性 baseline。。。。。 若是再细看四类使命，，，，，，PrediMem 在Transferring、Occlusion、Counting、Sequence上都拿到了最好的平均效果，，，，，，其中在最依赖历史状态坚持的Sequence上抵达72.5% TSR / 89.5% CSR，，，，，，在Occlusion和Counting这两类 memory-demand 最强的设置里也显着拉开了和 baseline 的差别。。。。。 更主要的是，，，，，，在最长、最重大、最依赖历史信息的IHMB上，，，，，，只有 PrediMem 乐成。。。。。并且从消融实验也能看到，，，，，，无论去掉predictive coding head照旧拿掉keyframe bank，，，，，，整体体现都会显着下降。。。。。 这说明 PrediMem 的优势并不来自纯粹「模子更大」，，，，，，而是确实来自对历史信息组织方法的刷新。。。。。这也说明 memory 不是一个「锦上添花」的小？？？？？？，，，，，，而是长程机械人执行里决议使命能不可意会的焦点能力。。。。。