具身智能操作的数据金字塔

Data Pyramid for Embodied Manipulation — 完整中文翻译 | arXiv: 2607.24744 | 2026年7月

摘要（Abstract）

多模态基础模型通过消费整个互联网学会了"看"和"说"。具身智能体则无法走这条捷径，因为它们需要将观测与物理状态和动作耦合在一起的数据。这些信号可以在不同程度上由多种数据源提供。在本工作中，我们将具身数据生态系统组织为一个"金字塔"，涵盖五种互补的数据源：①真实机器人数据，②UMI 风格数据，③自我中心与他视角数据，④仿真数据，⑤通用视觉-语言数据。我们围绕可扩展性与机器人对齐之间的张力来组织这一金字塔，并进一步从数据质量、多样性、可复用性和物理保真度四个方面刻画每种数据源。随后，我们从数据配方的视角分析了近期的具身基础模型，考察不同数据源如何在预训练阶段被选择、对齐和混合。对于具身大脑模型、视觉-语言-动作（VLA）模型和世界-动作模型，我们将数据组成与感知、推理、规划、动作生成和世界预测等能力联系起来。最后，我们讨论了六个开放性挑战：构建大规模触觉数据集、收集失败与恢复数据、开发可扩展的数据采集管线、跨本体动作对齐、利用自我中心数据进行灵巧操作，以及为机器人学习设计有原则的数据配方。我们希望本工作为下一代具身系统的设计奠定基础。

一、引言（Introduction）

多模态基础模型主要通过在海量视觉和语言数据上扩展预训练，获得了广泛的感知、语言和推理能力 [24, 88]。将这一范式扩展到具身基础模型，需要的不仅仅是处理视觉和语言输入的能力。具身智能体还必须理解物理状态和动力学，推理动作如何改变环境，并在物理世界中执行适当的行为 [20, 23, 174, 258]。这些要求从根本上改变了预训练所需的监督信号的性质，并引出了一个核心问题：

应该使用什么数据来训练具备上述能力的具身基础模型？

社区已经探索了多种互补的监督来源用于具身基础模型。这些来源包括从物理机器人和仿真中采集的观测-动作轨迹、人类交互的自我中心和他视角记录、通用图像、视频、语言和视觉-语言数据，以及更近期的 UMI 风格演示——后者无需在采集过程中使用机器人即可捕获以物体和末端执行器为中心的操作 [23, 24, 26, 62, 119, 359]。每种数据源贡献不同形式的语义、时序、物理和动作相关监督。然而，它们各自的角色、权衡、关系和整合策略仍未得到充分的系统化。

近期多个具身基础模型，包括 Motus [18] 和 GR00T [20]，引入了层次化或金字塔式的训练数据视图，以激励异构数据源的使用。这些构建通常围绕特定模型的训练配方设计，对数据类别在采集可扩展性、本体依赖性、物理保真度、可迁移性和下游效用方面的差异分析有限。现有综述同样倾向于关注模型架构或特定子问题，包括视觉-语言-动作模型 [446]、世界-动作模型 [141] 和世界建模 [177]。因此，具身数据生态系统尚未在类别层面被系统组织，具身基础模型对异构数据的使用也尚未从以数据为中心的视角进行全面分析。

为了系统地回答这一问题，我们将具身数据问题围绕两个问题来构建框架：

•"如何在可扩展性、机器人对齐、物理保真度和可迁移性存在差异的情况下，采集、组织、比较和整合异构具身数据源？"

•"具身基础模型如何有效地选择、组合和利用这些异构数据源？"

为了考察第一个问题，我们将现有具身数据生态系统组织为一个面向机器人和具身智能的数据金字塔。该金字塔由两条互补的设计原则引导。第一条是可扩展性（Scalability），关注数据源在硬件依赖、人力投入、环境重置、安全监督和边际生成成本方面可以多高效地扩展。第二条是机器人对齐（Robot Alignment），关注其观测、表示和监督信号能在多大程度上直接支持物理机器人上的学习和执行。

这两条原则常常处于张力之中：与真实机器人执行紧密对齐的数据通常昂贵且难以扩展，而高可扩展性的数据可能只能为物理交互提供间接或不完善的监督。例如，仿真可以在所需的资产、任务和生成管线构建完成后持续生成面向机器人的轨迹，但其效用仍然受限于仿真物理系统与真实物理系统之间的差异 [67, 144, 202, 262, 332, 359]。

除了这两条主要组织原则之外，我们引入四个互补的类别级维度来刻画不同数据源的更广泛效用。质量（Quality）关注所采集经验的有效性、一致性、信息量和任务相关性；当轨迹重复、标注不准确、信号同步不佳或采集条件存在系统性偏差时，单纯增加数据量可能收益有限 [211]。多样性（Diversity）反映在任务、物体、场景、视角、指令、本体、传感配置、行为和结果方面的覆盖范围，对于在分布偏移下的鲁棒性至关重要 [64, 113]。如图4所示，代表性数据集在交互轨迹、观测视角、任务阶段和操作环境方面呈现出显著不同的分布。可复用性（Reusability）刻画数据能在多大程度上跨任务、环境、本体、传感系统和模型族迁移。例如，以物体或末端执行器为中心的演示可以被重新映射到更灵巧的本体 [62, 303]，而自我中心视频为手-物交互、可供性理解和任务分解提供了可复用的监督 [118, 119, 171, 325, 391]。最后，物理保真度（Physical Fidelity）描述一个数据类别能在多大程度上忠实地捕获真实交互动力学和反馈，包括接触、摩擦、柔顺性、传感噪声、驱动延迟和物体运动。这四个维度通过解释数据源是否不仅规模大、与机器人相关，而且信息丰富、多样、可迁移且具有物理意义，来补充可扩展性和机器人对齐。

综合来看，这六个维度构成了我们对具身数据生态系统进行类别级组织的基础。从塔尖到塔基，我们将五个类别排列为：真实机器人数据、UMI 风格数据（Universal Manipulation Interface）、自我中心与他视角数据、仿真数据和通用数据。这一排序反映了从更强的物理基础和更直接可执行的机器人监督，到更大的可及性和可扩展性的整体过渡。

沿金字塔向下因此是一种系统性的权衡。真实机器人数据位于塔尖，因为其记录的动作可以直接在产生它们的平台上执行——这种保真度的代价是硬件、人力和重置 [24, 26, 64, 347]。塔尖以下的每一层都在某种程度上放松了这种耦合以换取覆盖范围：UMI 风格设备将机器人从采集回路中去掉，同时保留末端执行器监督 [62, 218, 224, 303, 441]；人类记录去掉了夹爪但保留了真实物理和日常多样性 [118, 119, 148, 171, 237, 391]；仿真恢复了可执行动作和特权标签，但物理本身是近似 [67, 144, 202, 262, 332, 359]；通用数据则完全放弃机器人基础以换取网络规模的语义和推理覆盖 [23, 74]。下方的卡片总结了每一层，该排序代表了六个维度的整体综合，而非沿每个单独属性的严格单调递进。

数据金字塔一览

两条主轴组织了金字塔。可扩展性关注数据源可以多高效地扩展，而机器人对齐关注它能在多大程度上直接支持物理机器人上的学习和执行。这两条轴常常处于张力之中。质量、多样性、可复用性和物理保真度进一步刻画了每一层的效用和局限。

类型1：真实机器人数据（Real-Robot Data）

在目标机器人上遥操作或脚本化生成的轨迹，在一个闭环中记录观测、状态、动作和结果。没有什么比这更直接可执行，也没有什么比这更昂贵：每个小时都需要硬件、操作员和重置。

类型2：UMI 风格数据（UMI-Style Data）

使用手持夹爪采集的演示，在无机器人参与的情况下记录末端执行器运动，使采集能够进入日常环境。夹爪监督在迁移中得以保留；关节级本体感知则无法保留，重新映射仍然是一个挑战。

类型3：自我中心/他视角数据（Egocentric / Exocentric Data）

人类行为的第一人称和第三人称记录，在可穿戴采集允许的规模下提供真实物理、灵巧手和日常多样性。没有机器人参与，因此动作必须被重建并跨越人-机鸿沟进行重新映射。

类型4：仿真数据（Simulation Data）

在物理引擎中生成的交互，以可忽略的边际成本并行返回可执行动作以及接触、位姿和成功信号等特权标签。它无法返回的，是它所近似的物理本身。

类型5：通用数据（General Data）

网络规模的图像、视频、语言和视觉-语言语料，携带远超任何机器人数据集的语义、空间结构和常识。它们为基础感知和推理而非动作服务，对接触或后果保持沉默。

数据金字塔提供了具身数据生态系统的静态、类别级组织。在此分类法之外，我们进一步考察每个数据类别的规模如何随时间演变。如图2所示，真实机器人、UMI 风格、自我中心和他视角、仿真和通用数据集都随时间扩展，每个类别都表现出强劲的增长趋势。

我们进一步从以数据为中心的视角考察具身基础模型。如图3所示，我们考察了代表性具身基础模型在预训练期间使用的数据源。所回顾的系统表明，从早期以真实机器人轨迹为主的训练配方，逐步过渡到越来越异构的真实机器人、仿真、通用、自我中心以及（较少出现的）UMI 风格数据的混合。表7提供了所涵盖模型及其数据组成的更全面总结。

除了记录这些数据配方之外，我们从两个视角分析具身基础模型如何适应异构数据集：动作空间对齐和几何对齐。前者关注模型如何协调不同机器人本体之间的动作维度、控制接口和动作语义差异，而后者关注从不同视角、坐标系和本体采集的观测和演示如何被映射为机器人兼容的表示。

我们随后考察三个代表性模型族如何利用数据金字塔的不同层级。具身大脑模型主要使用广泛的多模态和具身数据来支持感知、空间和时间推理、可供性理解、记忆和高层规划 [74, 158, 258]。视觉-语言-动作模型需要机器人兼容的动作监督，将观测和指令映射为可执行行为 [20, 23, 174]。世界-动作模型则进一步利用无动作时序数据、动作条件交互和合成经验来建模环境演化和动作后果 [3, 8, 36, 109, 141]。这一分析将异构训练数据的组成和对齐与它们在不同具身基础模型架构中的角色联系起来。

最后，我们围绕三个问题组织具身数据的关键挑战和未来方向：收集什么、如何收集以及如何使用。首先，未来数据集应更好地代表仍然稀缺的交互信号，特别是失败和恢复轨迹 [21, 70, 235] 以及捕获接触状态、力、材料属性和细粒度交互动力学的触觉反馈 [232, 387, 444]。其次，数据采集管线应减少对昂贵的手动遥操作的依赖，扩展任务和环境覆盖范围，并自适应地优先处理代表性不足或信息量大的交互 [24, 26, 62]。第三，异构数据应通过跨本体对齐动作表示、确定不同金字塔层数据的有效混合，以及将人类交互经验迁移到机器人操作来更系统地使用 [20, 64, 171, 303, 391]。

总体而言，本工作通过数据金字塔分类法组织具身数据生态系统，回顾每个数据类别的构建和采集，并考察异构数据源如何被具身基础模型利用。

本工作的主要贡献总结如下。

•以可扩展性和机器人对齐为引导的数据金字塔分类法。我们将具身 AI 数据组织为五个互补类别，从塔尖到塔基排序为：真实机器人数据、UMI 风格数据、自我中心与他视角数据、仿真数据和通用数据。我们从质量、多样性、可复用性、物理保真度、采集可扩展性和与物理机器人学习的对齐方面刻画每个类别。为支持社区，我们还发布并维护一个开源仓库，在此分类法下策展代表性数据集和相关资源。

•以数据为中心的具身基础模型分析。我们考察异构数据源如何支持具身视觉-语言模型、视觉-语言-动作模型和世界-动作模型。我们的分析将数据集属性（包括语义覆盖、时序结构、动作监督、本体对齐、多样性和物理保真度）与模型能力（如感知、推理、规划、动作生成和世界预测）联系起来。

•开放性挑战和未来方向的讨论。我们识别了具身数据中的关键挑战，包括质量和多样性评估、跨本体复用、多模态标准化、可扩展的真实世界采集、人到机器人和仿真到真实的迁移、失败和恢复数据策展，以及异构数据源的整合和评估。我们进一步讨论了构建更通用、鲁棒、可复用且物理基础的具身智能体的机遇。

二、真实机器人数据（Real-Robot Data）

2.1 数据概览（Data Overview）

真实机器人数据占据具身智能数据金字塔的塔尖，代表最接近真实世界执行的层级。它通过机器人与环境的物理交互来采集，通常包括传感器观测、机器人状态和控制动作。与人类视频或本体无关的演示数据不同，它直接捕获在特定机器人本体下感知、动作和物理结果之间的闭环关系。因此，它以高质量、高物理保真度、多样性和可复用性为特征，是学习可执行操作策略和将模型预测锚定于真实世界动力学的最直接监督来源。

如表1所示，真实机器人数据集的发展从孤立的、特定任务的采集，逐步演变为越来越通用和可复用的数据资源。早期工作主要集中在少量行为的大量试验上，例如机器人抓取，通常使用脚本控制器在受控环境中采集 [169, 275]。后续数据集扩展到由人工操作的、覆盖更广泛任务集和更多样化场景的演示 [91, 173, 248, 308]。更近期的努力进一步跨机构、跨机器人平台和跨应用领域扩展数据采集 [64, 142, 366, 372]，纳入了双臂系统 [98, 335]、移动操作平台 [103]、人形机器人 [294, 440] 和灵巧手 [203, 435]。这一进程反映了从为单个策略采集数据，向构建用于训练通用机器人模型的大规模数据生态系统的更广泛转变。

2.2 本体与模态（Embodiment and Modalities）

真实机器人数据集在采集交互数据所使用的物理本体方面差异很大。早期数据集主要围绕配备平行夹爪的固定基座单臂机械臂构建，如大规模抓取和操作数据集 Pinto and Gupta、QT-Opt 和 RoboNet [75, 169, 275] 所示。这种配置提供了相对受限的动作空间，便于可扩展的数据采集，但仅覆盖有限的全身和协调操作行为。后来的数据集越来越多地纳入双臂系统用于协调和双手操作 [257, 438, 439]，联合控制底座和上半身的移动操作平台 [103, 162]，以及涉及全身运动和行走的类人平台 [102, 132, 440]。更近期的努力进一步将数据采集扩展到灵巧手和异构机器人集群，使研究细粒度的富接触操作和跨本体学习成为可能 [142, 372, 435]。

另一个值得注意的趋势是真实机器人数据集中传感模态日益丰富。除了标准的视觉-本体感知-动作接口外，多个数据集纳入了额外信号，以捕获仅凭图像无法可靠推断的物理交互方面。触觉感知已成为富接触和灵巧操作的重要互补模态，因为它提供了关于接触位置、压力分布、初始滑移、抓取稳定性和物体-手交互状态的局部、表面级信息 [4, 95, 142, 203, 440, 444]。相比之下，力和力矩测量通常表征腕部、夹爪或机器人关节处的净交互力旋，提供了关于接触力和交互动力学的更全局视图 [95, 240, 323]。音频可以进一步提供关于碰撞、摩擦和任务进展的互补线索 [95, 323]。全身平台还可能包含 IMU、LiDAR 和里程计信号，以表示平衡、行走和空间导航 [186, 440]。这些更丰富的多模态观测不仅使对机器人与环境交互的刻画更加全面，也增加了数据集之间的异构性。

本体感知和动作表示也因本体不同而存在显著差异。固定基座机械臂通常记录关节位置（qpos），表示为关节坐标的有序向量，或末端执行器（EEF）位姿，表示为腕部或工具的笛卡尔位置和朝向，以及夹爪状态。相应地，动作通常在关节空间或笛卡尔 EEF 空间中表示 [16, 64, 75, 91, 95, 134]。灵巧手由于具有高维铰接结构，通常通过指关节位置来表示 [203, 366, 372, 435]，有时辅以指尖位姿以便与人类数据对齐 [101, 391, 443]。移动和人形平台还进一步纳入底座速度、躯干配置和全身关节状态 [103, 142, 294, 440]。

这些差异不仅影响学习问题的维度，也影响数据可以在多大程度上跨平台共享。关节空间表示为铰接手提供直接精确的控制，但与机器人形态学紧密耦合。相比之下，末端执行器中心的表示可以为跨本体的臂运动提供更具迁移性的接口，尽管它们仍然需要一致的坐标系和控制约定。在策略学习中，本体感知状态和动作经常被归一化以维持合适的数值尺度并便于跨本体学习。常见的选择包括 MinMax、Q01-Q99 和 MeanStd 归一化 [377]。

2.3 数据采集范式（Data Collection Paradigms）

2.3.1 脚本采集（Script）

脚本采集广义上指机器人行为在没有持续人工控制的情况下执行的生成过程。人类精力不是用于手动控制每个回合，而是转向设计任务逻辑、控制管线和执行条件。系统设计与回合级执行之间的分离使得数据采集能够以较低的边际成本重复且并行地进行。根据机器人动作的生成方式，脚本采集可以大致分为基于规则的执行、轨迹回放和自主策略 rollout。

基于规则的执行（Rule-Based Execution）。在基于规则的采集中，机器人行为通过手动指定的任务逻辑来生成，通常实现为动作序列、有限状态机或启发式控制器。一个任务通常被分解为预定义的阶段，如检测目标、选择交互位姿、接近目标、执行抓取以及将物体运送到指定区域。在这一管线中，逆运动学、运动规划和轨迹优化可以将阶段级目标转换为运动学上可行且无碰撞的机器人运动，而视觉观测或传感器阈值则确定目标位姿并触发阶段之间的转换。早期大规模抓取数据集采用了这种结构化管线来执行重复的抓取尝试，并自动记录成功和失败的交互 [75, 275, 355]。基于规则的执行对于具有明确目标、结构化工作空间和可靠重置机制的任务特别有效。然而，由于任务分解和运动生成过程都依赖于预定义假设，所采集的行为可能表现出有限的多样性，且可能难以泛化到意外状态或复杂的接触交互。

轨迹回放（Trajectory Playback）。轨迹回放通过重新执行先前记录的机器人运动来采集数据。源轨迹可能来自人类遥操作、动力学引导教学、运动规划或早期的策略 rollout。在回放过程中，机器人可以在不同的物体配置或环境条件下复现演示，并且可以在初始状态、轨迹或控制参数中引入扰动以增加变化。这种方法减少了对重复人工操作的需求，同时保留了成功演示的整体结构。例如，RoboSet 将人工采集的演示与基于回放的执行相结合，以扩展其真实机器人经验 [16]。尽管如此，回放对原始环境和当前环境之间的差异很敏感，因为当物体位置或接触条件发生显著变化时，开环复现可能失败。因此，可靠的复用通常需要闭环修正和重规划。

自主策略 Rollout（Autonomous Policy Rollouts）。一种更自适应的自动采集形式使用学习到的或启发式的策略与环境交互并生成新轨迹。这些策略可以通过强化学习、模仿学习或前期的数据采集获得，并可以随着额外经验的积累而迭代改进。大规模系统如 QT-Opt [169] 和 MT-Opt [170] 使用自主 rollout 在重复任务执行中采集交互数据，使数据集和策略能够通过持续的数据生成循环共同改进。RoboSet [16] 类似地在人类演示和轨迹回放之外纳入了启发式策略 rollout。与固定脚本相比，自主 rollout 可以响应观测并覆盖更广泛的状态范围，包括策略失败和恢复行为。然而，其数据分布受到当前策略能力和探索策略的强烈影响，可能强化已有偏差或产生大量低质量轨迹。

2.3.2 遥操作（Teleoperation）

遥操作通过让人类操作员在任务执行过程中持续控制机器人来采集机器人演示。相比脚本采集，它可以更自然地捕获自适应的、目标导向的、富接触的行为，特别是在尚无合适控制策略的任务中。如图5所示，遥操作系统呈现出多样化的配置。

动力学引导教学（Kinesthetic Teaching）。动力学引导教学提供了最直接的人工控制形式：操作员通过物理方式引导机器人臂或末端执行器完成期望的运动，同时系统记录关节状态、末端执行器位姿和夹爪指令。这种方法几乎不需要额外的接口硬件，允许操作员通过直接的物理交互指定精确的轨迹，如 MIME [308] 等数据集所示。它特别适合固定基座机械臂和需要精确几何引导的任务。然而，物理操控机器人可能给操作员带来相当大的体力负担，且这种方法难以应用于大负载系统、移动平台或复杂的全身本体。

主从遥操作（Leader-Follower Teleoperation）。主从系统使用专用输入机构，其运动被映射到一个从动机器人。当主端和从端具有相同或高度匹配的运动学结构时，关节级对应关系提供了直观且精确的控制接口。这一范式已被广泛用于双手操作，如 ALOHA 及其后续扩展 [438, 439]，以及更大的双手数据集如 AIST-Bimanual [257] 和 Open Galaxea [162]。GELLO [371] 进一步证明，主端可以被实现为目标臂的低成本、等比例缩放、运动学等效的复制品，使用3D打印组件和廉价驱动器，同时保留直接的关节级对应关系。主从控制非常适合协调的双臂行为，因为它保持了双臂之间的时间同步并降低了笛卡尔控制的复杂性。其主要局限是对专用且通常特定于本体的硬件的依赖，这可能限制跨机器人平台的便携性。

集成式主从遥操作（Integrated Leader-Follower Teleoperation）。集成式主从遥操作将输入设备和被控机器人合并在同一机构中：操作员通过末端执行器手柄操控一个重力补偿的机械臂，同时系统记录机器人状态、视觉观测和交互信号。这种方法提供直接的视觉和力反馈，支持精确的富接触操作，避免了分离主臂的运动学映射误差。去掉专用主设备还降低了硬件、标定和工作空间需求。一个代表性的实际应用是 ARX AC-One，近期已被用作双手操作研究的真实世界平台 [18, 28]。主要缺点是操作员的手可能出现在训练图像中但在自主部署时消失，从而产生视觉分布偏移。然而，来自人到机器人迁移 [391, 443] 的现有证据表明，模型可以在预训练过程中学会适应这些差异。

设备中介遥操作（Device-Mediated Teleoperation）。一种更便携的替代方案使用通用输入设备，包括 VR 或 XR 控制器、智能手机、SpaceMouse 设备和操纵杆。人类输入通常被解释为笛卡尔末端执行器位姿或速度，并通过逆运动学或低级控制器转换为机器人关节指令。例如，RoboTurk [248] 使用移动设备进行六自由度控制，而 DROID [173] 使用 VR 控制器在不同环境中采集操作演示。SpaceMouse 和触觉设备也已被用于 FMB [240] 和 REASSEMBLE [323] 等数据集。对于移动操作平台，脚踏板可以提供额外的免手控制通道来指挥底座运动，使操作员能够在导航平台的同时保持双手可用于臂操作。由于这些设备在很大程度上独立于机器人形态学，它们可以在相对有限的硬件修改下部署到不同的机械臂上。但其间接控制接口可能引入延迟、缩放模糊和精度降低，特别是在协调的、高维的或接触密集型任务中。

基于视觉的遥操作（Vision-Based Teleoperation）。基于视觉的系统直接从 RGB 或 RGB-D 观测中推断人体、手臂或手部运动，无需物理标记或专用可穿戴传感器。估计的位姿随后被重新映射到机器人上，同时考虑运动学可行性和关节约束。这种方法可以支持全身人形控制和灵巧手遥操作。例如，HumanPlus [102] 将单目估计的人体运动迁移到人形机器人上，而 DexPilot [130] 和 Anyteleop [281] 将视觉估计的人手运动映射到灵巧机器人手上。通过减少对专用传感硬件的需求，基于视觉的遥操作提供了低成本且易于获取的接口，尽管其性能仍然对遮挡、快速运动和位姿估计误差敏感。

可穿戴与动作捕捉重映射（Wearable and Motion-Capture Retargeting）。可穿戴系统使用惯性套装、光学追踪器、数据手套或手臂和手部外骨骼等设备来捕获人体运动。这些接口可以提供比通用控制器更高维度和更稳定的运动测量，使其特别适合双手、灵巧和全身遥操作。RoboMIND [142, 366] 结合多种遥操作接口（包括动作捕捉系统），在异构机器人本体上采集数据，而 RoboCOIN [372] 将可穿戴控制扩展到大量双臂平台。对于灵巧操作，Dexora [435] 等系统使用手臂外骨骼和基于 VR 的手部控制来捕获协调的臂和手指运动。全身遥操作系统进一步将人的上半身、行走和底座运动映射到人形机器人 [294, 440]。所需的映射取决于传感接口以及人与机器人本体之间的对应程度。基于外骨骼的系统通常提供直接的关节级控制，而数据手套和动作捕捉设备通常需要标定和运动学重映射，以解决尺寸、关节范围和形态学上的差异。

反馈机制（Feedback Mechanisms）。反馈机制构成了遥操作系统设计的另一个重要维度。视觉反馈通过外部或自我中心摄像机向操作员提供环境、物体和机器人状态的观测。沉浸式系统进一步采用立体显示和头部追踪的主动视角来改善深度感知和空间感知 [59, 86]。力反馈通过双边主设备、触觉控制器或外骨骼将交互力或末端执行器阻力从机器人传递给操作员，使得在插入、装配和其他力敏感任务中能够更精确地调节接触 [323, 421]。触觉反馈通过振动、压力或指尖刺激等方式传达手指或抓取界面处的局部接触事件，帮助操作员感知接触的发生并调整抓取行为 [4, 86, 421]。这些反馈通道的整合提高了遥操作的精度、稳定性和操作员感知，使得更自然的控制和更高质量的演示成为可能，特别是在富接触任务中。

2.3.3 人在回路增强（Human-in-the-Loop Enhancement）

人在回路增强是一种迭代式真实机器人数据采集范式，其中人类监督者在策略执行过程中进行干预，并在困难或容易失败的状态下记录纠正性动作。它不是重复采集完整的演示，而是选择性地用策略诱导的状态、失败案例和恢复轨迹来增强数据集——这些在原始训练数据中通常代表性不足。

遵循 DAgger [297] 引入的数据集聚合原则，机器人学习方法逐步提高了这一过程的效率和可扩展性。Intervention Weighted Regression [249] 通过远程遥操作采集纠正性演示，并在训练过程中增加其贡献权重。ThriftyDAgger [135] 根据状态新颖性和估计的失败风险选择性地请求帮助，而 Sirius [220] 持续纳入在机器人部署期间采集的干预数据。Fleet-DAgger [136] 将这一采集过程扩展到多个同时运行的机器人。在灵巧操作方面，DexCap [348] 记录策略 rollout 过程中的人类接管和残差纠正。IntervenGen [137] 随后通过从少量人类干预中生成额外的纠正性轨迹来提高数据效率。更近期地，CR-DAgger [385] 在不完全中断自主执行的情况下采集富接触操作的柔顺增量动作纠正。总体而言，人在回路增强将真实机器人部署中遇到的错误转化为有针对性的训练数据，提高了对挑战性状态的覆盖，同时减少了对完整轨迹演示的需求。

2.4 规模与多样性（Scale and Diversity）

在过去十年中，真实机器人数据的规模显著增长。早期数据集通常在狭窄定义的任务分布中积累大量交互。例如，Pinto and Gupta [275] 和 QT-Opt [169] 采集了数万到数十万次抓取试验，但主要集中于单一行为。后续工作同时扩展了轨迹数量和任务广度。MT-Opt [170] 包含约800K个回合，涵盖12个任务；RT-1 [24] 和 RoboMIND [366] 分别以130K和107K条轨迹覆盖了数百种操作技能。更近期的数据集已达到百万级采集或数千小时的交互。AgiBot World Beta [26] 报告了一百万条轨迹和近3,000小时的数据，而 RoboMIND 2.0 [142] 包含超过310K条轨迹，涵盖739个任务和超过1,000小时的执行。跨数据集倡议如 Open X-Embodiment [64] 进一步聚合了来自多个机构和机器人平台的超过两百万条轨迹。

对于策略学习而言，数据多样性往往比原始轨迹数量更为关键，因为它决定了训练中所表示的状态、行为和交互条件的范围。因此，近期真实机器人数据集的一个清晰趋势是任务覆盖范围的扩展，从抓取或装配等狭义定义的行为，扩展到数百种家庭、工业、移动操作和灵巧任务 [97, 142, 372, 435]。这种任务多样性伴随着物体、场景布局、初始配置和相机视角的日益变化，为部署时遇到的状态分布提供了更广泛的覆盖。同时，数据集越来越多地覆盖异构本体，包括单臂和双手操作平台、移动平台、人形机器人和灵巧手，以及 RGB-D、力和力矩、音频、IMU、LiDAR 和里程计等更丰富的传感模态 [64, 142, 372, 440]。任务、环境、本体和模态的多样性共同为学习更鲁棒、可迁移的策略奠定了基础，使其超越狭窄定义的数据采集场景。

除了任务、本体和模态多样性之外，轨迹级多样性捕获了同一名义任务在不同演示中执行方式的变化。这种变化可能来自初始和终止状态的差异、运动路径、接触序列和执行速度，从而拓宽了每个任务内覆盖的状态-动作分布。图4中关键帧的笛卡尔分布直观地展示了由此产生的空间覆盖和分布结构差异。在所示示例中，AgiBot-World-2026 [335] 展现了多个分离良好的空间簇，表明覆盖了不同的工作空间区域和交互高度。RoboMIND [366] 显示了更紧凑且各向异性的分布，而 RoboMIND 2.0 [142] 则呈现了更广泛的、部分连通的、垂直分层的空间覆盖。

2.5 优势与局限（Advantages and Limitations）

真实机器人数据通过直接捕获机器人观测、动作及其物理结果之间的关系，提供了物理基础的监督。与仿真或人类视频相比，它们自然反映了真实的传感噪声、控制延迟、接触动力学和硬件约束。此外，所记录的动作可以直接在相应平台上执行，使得这类数据对于学习可靠的操作策略和恢复行为尤为宝贵。

主要局限在于采集成本高昂。真实机器人数据需要物理硬件、人工操作或自动采集管线、反复的环境重置、维护和安全监督，这些限制了大规模和并行的数据获取。此外，许多数据集仍然集中于特定的机器人、任务和环境。本体、传感器配置、坐标系和动作表示方面的差异进一步复杂化了数据聚合和跨平台迁移。

要点（Takeaway）

真实机器人数据位于塔尖：它提供了直接的机器人控制信号以及对机器人与真实世界之间物理交互的观测。我们认为，未来真实机器人数据的发展应沿着三个方向推进。首先，遥操作系统应在保留细粒度轨迹和直接物理交互反馈的同时，支持更简单、更流畅和更直观的控制。在这方面，集成式主从遥操作因其相对较低的硬件成本、易用性和流畅演示采集的能力，提供了一个有前景的方向。其次，真实机器人数据集应捕获更广泛的野外场景、物体和环境条件的变化。AIGC 可以通过合成特定于本体的数据或增强场景和观测来补充物理采集，从而在不要求真实世界部署成比例增加的情况下扩展环境多样性。第三，数据采集应超越人类遥操作，纳入策略 rollout——后者反映了具身智能体在自身诱导的状态分布下如何探索物理世界。在这些 rollout 过程中进行人在回路干预还可以将失败转化为恢复轨迹，为错误纠正、任务延续和改进策略鲁棒性提供监督。

三、UMI 数据（UMI Data）

3.1 数据概览（Data Overview）

Universal Manipulation Interface（UMI）数据指的是一系列通过便携式、独立于机器人的接口而非直接操作目标机器人来采集的真实世界操作数据集 [62]。典型的 UMI 系统集成了一个或多个摄像机、一个手持夹爪或灵巧接口，以及一个位姿追踪模块，用于记录视觉观测、末端执行器运动、夹爪状态以及（在部分近期系统中）力或触觉信号。这些演示随后可以通过标定、动作变换和特定于本体的重映射转换为机器人兼容的轨迹。

与人类自我中心视频相比，UMI 数据保留了真实世界操作的自然第一人称观测，同时额外提供了同步的末端执行器位姿、夹爪状态和标定的动作轨迹。这些结构化信号产生了高质量、物理忠实的演示，可直接用于机器人策略学习，并在适当的重映射下支持跨本体部署。自原始 UMI 系统以来，这一范式已从单臂夹爪操作 [229, 441] 扩展到双手系统 [261]、灵巧手 [333, 383, 384]、移动平台 [125]、多视角感知、3D 传感以及触觉或力感知数据采集 [191, 368, 453]。如表2所总结，UMI 风格数据集在本体、传感模态、任务和采集规模方面涵盖了日益增长的范围。

3.2 UMI 数据采集管线（UMI Data Collection Pipeline）

3.2.1 UMI 风格系统的演进（Evolution of UMI-Style Systems）

UMI 风格系统的演进首先体现在物理采集接口的设计上。原始 UMI 建立了一种基于便携式手持夹爪的无机器人采集范式，集成了腕戴式摄像机、位姿追踪和夹爪状态感知，以在自然的人类演示过程中捕获同步的观测和动作 [62]。后来的系统改进了这一设计的便携性、模块化和部署便捷性。例如，FastUMI [441] 简化了硬件和追踪管线以减少设置成本并支持更高效的大规模采集，而 LEGATO [303] 引入了一种抓取工具接口，旨在跨不同机器人平台提供一致的演示表示。更近期的系统进一步重新考虑了用户与采集设备的物理交互方式。

与操作员手持夹爪形状工具并通过扳机控制其开合的传统 UMI 接口不同，FreeTacMan [369] 采用了指戴式接口，允许操作员使用自然的手指运动直接控制夹爪。这一进程反映了从机械中介的手持工具向更自然、可穿戴且具备接触感知的采集接口的更广泛转变。

UMI 风格系统产生的数据在本体、传感模态和规模方面也变得日益多样化。早期 UMI 数据集主要关注使用平行夹爪和腕视 RGB 观测的单臂操作。后续工作将这一范式扩展到移动操作平台和全身人形系统，如 UMI on Legs [125] 和 HuMI [261]，以及双手操作和灵巧手 [333, 384]。

观测空间同样已超越单目腕视图像。MV-UMI [291] 引入了额外的相机视角，而 UMI-3D [362] 纳入了显式的3D空间观测。ViTaMIn [218]、FreeTacMan [369]、exUMI [386] 和 ManipForce [182] 进一步用触觉或力相关测量增强了视觉轨迹，使富接触操作数据的采集成为可能。同时，采集效率的提高将数据集规模从数百个任务特定演示提升到包含数万甚至数十万条轨迹的集合，如 FastUMI-100K [224]。总体而言，UMI 风格数据已从单臂视觉轨迹演变为更广泛的大规模、多模态、多本体操作数据。

3.2.2 相对轨迹动作表示（Relative Trajectory Action Representation）

由于 UMI 演示是在不直接操作目标机器人的情况下采集的，它们不包含特定于本体的关节状态或关节空间动作。取而代之的是，UMI 将腕戴式摄像机与板载 IMU 和视觉-惯性 SLAM 相结合，估计手持夹爪的六自由度位姿轨迹及其开合状态。为了降低对全局追踪坐标系的敏感度，未来的末端执行器目标以相对于当前末端执行器位姿的方式表示。这种相对轨迹表示在保留演示运动空间结构的同时，减少了执行过程中的误差累积。它还提供了一个本体无关的动作空间，可以通过标定、逆运动学和低级控制映射到不同的机器人平台。

3.3 跨本体部署（Cross-Embodiment Deployment）

跨本体部署旨在将从无机器人 UMI 演示中学到的策略迁移到具有不同运动学结构和传感配置的机器人上。其核心思想是将本体无关的任务表示与特定于本体的执行分离。UMI 风格的策略不是预测与特定机器人绑定的关节空间指令，而是在末端执行器中心的动作空间中运行，通常产生相对六自由度轨迹和夹爪指令。在部署时，预测的相对轨迹与机器人当前的末端执行器位姿组合，并转换到机器人基座坐标系中。由此得到的目标位姿随后通过逆运动学、运动规划或低级笛卡尔控制器转换为可执行的关节指令。

这种部署策略已被扩展到形态学差异越来越大的机器人。LEGATO [303] 将演示映射到运动不变的任务空间，并通过全身逆运动学将预测的夹爪运动重新映射到不同的固定基座和移动操作平台上。然而，对于灵巧操作，仅迁移腕部轨迹是不够的，因为人手和机器手在手指形态学、自由度和视觉外观方面差异很大。DexUMI [384] 通过一种可穿戴外骨骼来解决这些差距——该外骨骼约束人体运动趋向机器人可行的手部配置，同时使用视觉修复在演示图像中用人手替换为目标机器手。其他系统通过使用可在采集接口和机器人之间共享的模块化相机或触觉传感器来提高部署一致性 [191, 368]。这些方法逐步将 UMI 数据从夹爪级迁移扩展到跨多样手臂、移动操作平台和灵巧手的跨本体部署。

3.4 优势与局限（Advantages and Limitations）

UMI 数据的主要优势在于其可扩展性、环境多样性以及对特定机器人本体依赖的降低。特别是，其便携和无机器人采集设置使得在多样化日常环境中进行野外数据采集成为可能。人类操作员可以在多样化的真实世界场景中采集流畅自然的操作演示，而末端执行器中心的动作表示则促进了跨不同机器人平台的数据复用。近期纳入双手运动、灵巧手和触觉感知的扩展进一步拓宽了 UMI 风格系统所捕获的行为范围。

然而，UMI 数据并未完全消除本体鸿沟。相机视角、末端执行器几何、运动学约束、动力学和接触条件方面的差异可能导致演示与机器人执行之间的偏差。其质量也依赖于准确的位姿追踪和传感器同步，这些在遮挡、快速运动或视觉挑战性环境下可能退化 [362]。此外，UMI 通常缺乏机器人特定的本体感知和驱动器动力学。因此，它最好被视为特定于本体的真实机器人数据的可扩展补充，而非完全替代。

要点（Takeaway）

UMI 风格数据通过便携式、无机器人的接口在人类演示和机器人执行之间架起桥梁，以远低于遥操作的成本提供显式的末端执行器动作结构。然而，其可靠性受到脆弱的视觉追踪和标定、在没有机器人执行的情况下难以验证轨迹质量，以及缺乏富接触任务力反馈的限制。

四、自我中心与他视角数据（Egocentric and Exocentric Data）

4.1 数据概览（Data Overview）

自我中心和他视角数据占据具身数据金字塔的中间层，比仿真数据提供了更真实的真实世界观测和物理交互，但与机器人执行的对齐程度不如 UMI 数据。大多数自我中心数据集依赖佩戴在头部或身体上的摄像机来跟随佩戴者并保持当前活动在视野内。然而，这种移动视角可能使交互的关键方面未被观测到：手部可能遮挡接触区域，而身体的大部分和周围场景可能在画面之外。因此，通常会添加同步的他视角摄像机以提供互补的视角和更完整的记录。这类数据易于扩展，具有高多样性、可复用性和物理保真度，但其质量经常受限于单相机采集的约束。

除了 RGB 视频之外，自我中心数据集可以通过三条互补路径进行丰富：采集过程中的多模态传感、对记录流的后期处理，以及向机器人导向表示的转换。在采集过程中，额外硬件提供互补信号：H2O [181] 记录同步的 RGB-D 视图。HoloAssist [356] 将 RGB 和深度与头部追踪、手部追踪、注视和音频相结合。EgoEMG [378] 记录肌肉活动，FEEL [85] 测量施加的力，EgoTouch [449] 提供触觉压力。

后期处理进一步添加语义和几何结构。在 EPIC-KITCHENS [72, 73] 中，叙述和手动标注产生了动作片段和动词-名词标签。HOT3D [11] 使用标定的动作捕捉来获取手和物体的位姿。EgoDex [138] 将头戴设备追踪与 SLAM 相结合，以恢复相机和手部轨迹。

最后，获取机器人导向表示需要将人体运动映射到机器人兼容的动作空间：EgoMimic [171] 将追踪到的人手轨迹与机器人演示对齐，而 EgoVLA [391] 使用逆运动学和重映射将人的腕部和手部位姿映射到机器人动作。图6展示了采集基础设施和监督类型。表3总结了代表性的自我中心和他视角数据集及其关键特征。

4.2 采集基础设施（Capture Infrastructure）

自我中心和他视角采集系统结合可穿戴和环境设备来测量外观、几何、运动、注意力和物理交互。我们按照所观测的物理量来组织硬件：视觉传感器记录图像和深度流，运动追踪系统测量设备或身体的运动学，辅助传感器则揭示注意力、肌肉激活和接触。在这些类别中，主要的权衡涉及空间覆盖、时间分辨率、移动性、侵入性、精度和标定需求。

4.2.1 视觉传感（Visual Sensing）

可穿戴摄像机（Wearable Cameras）。单目 RGB 采集使用单台彩色摄像机（通常安装在头部或胸部）来近似佩戴者的视觉流。这类摄像机轻便、低成本且适合长时间采集，如 EPIC-KITCHENS [72, 73] 和 Ego4D [118] 所示；然而，它们不直接测量度量深度，快速的头部运动可能引入模糊，而手部可能遮挡被操作物体。

立体装置转而使用两台已知基线的同步摄像机来从双目视差中估计深度。它们避免了主动照明，但需要精确标定，且在无纹理或遮挡区域可能失败。例如，HOT3D [11] 使用 Project Aria 和 Quest 3 的板载多相机配置，从略有不同的视角观察手和物体。RGB-D 摄像机将彩色图像与逐像素深度配对，提供更直接的3D测量，但范围和反射面或强环境光下的敏感性与设备相关。H2O [181] 同步自我中心和他视角 RGB-D 视图，而 HoloAssist [356] 使用 HoloLens 2 记录 RGB 和深度。

事件摄像机采取了不同的方法：不是以固定帧率产生常规帧，而是每个像素异步报告亮度变化。其高时间分辨率减少了快速手部运动时的运动模糊，但产生稀疏数据，需要专门处理；EgoEV-HandPose [351] 探索了使用双目事件摄像机的这一设置。

他视角相机系统（Exocentric Camera Systems）。他视角系统在环境中放置一台或多台摄像机，从固定的第三人称视角观察佩戴者。它们揭示了可穿戴摄像机视野中可能被遮挡或超出范围的身体、手部和场景上下文，且同步视图支持三角测量和多视角重建。Assembly101 [302] 结合可穿戴和外部摄像机来记录细粒度装配活动，而 Ego-Exo4D [119] 将 Project Aria 眼镜与多个环绕的 GoPro 摄像机配对。额外的覆盖以环境搭建、跨相机标定和同步、更高的存储需求以及采集移动性降低为代价。

4.2.2 运动与位姿追踪（Motion and Pose Tracking）

惯性身体追踪（Inertial Body Tracking）。惯性测量单元（IMU）结合了加速度计和陀螺仪（有时还有磁力计），用于测量线加速度和角速度。IMU 紧凑且在视觉遮挡下仍可用，但当测量随时间积分时，朝向尤其是位置估计会累积漂移。Ego-Exo4D [119] 记录 Project Aria 内置的 IMU，而 WEAR [22] 分布身体佩戴的 IMU 以捕获户外活动动力学。全身惯性动作捕捉系统通过在全身放置多个同步 IMU 并将其测量拟合到铰接骨架上来扩展这一思路。Nymeria [245] 将 Project Aria 和腕戴式 miniAria 设备与 Xsens 套装相结合，在无外部相机阵列的情况下捕获头部、手部和身体运动，尽管该套装增加了拟合和特定身体标定的工作量。

手戴追踪设备（Hand-Worn Tracking Devices）。手戴追踪器将磁性、惯性、弯曲或光学传感器放置在手指、手部或腕部，以获取与位姿相关的测量，如传感器朝向、手指弯曲、指尖位置和腕部运动。这些测量通过设备标定、传感器融合或运动学拟合被转换为铰接手部位姿；因此，它们应被视为基于传感器的位姿捕获，而非未处理的位姿标签。FPHA [110] 在指尖附接六个磁性传感器，即使手指被视觉遮挡也能恢复铰接手部运动，尽管附近的金属和电磁干扰可能扭曲测量。DexGloveHOI [178] 则将自我中心图像与手套安装的六自由度 IMU 和动作捕捉参考位姿同步，用于视觉-惯性3D手部追踪。与仅图像估计相比，仪器化可穿戴设备通常在严重的手-物遮挡下提供更连续和准确的3D手部运动。然而，其可扩展性受到手形标定、传感器位移、磁性干扰或惯性漂移以及可能干扰自然抓取的限制。

光学和头戴式追踪（Optical and Headset-Based Tracking）。光学动作捕捉使用多台外部摄像机对可见标记进行三角测量，在标定的工作空间中产生准确的3D轨迹。HOT3D [11] 在手和物体上放置小标记以获取位姿真值，以可控设置和可能的标记遮挡换取精度。AR/VR 头戴设备通过设备原生的由内向外追踪提供了更便携的替代方案，该追踪融合板载相机和惯性传感来估计头戴设备和手部。EgoDex [138] 使用 Apple Vision Pro 追踪，HoloAssist [356] 使用 HoloLens 2。这些系统减少了外部基础设施需求，但依赖于专有追踪管线，且在快速运动、遮挡或有限视野下可能失败。

4.2.3 辅助与交互传感（Auxiliary and Interaction Sensing）

注视与音频（Gaze and Audio）。眼动追踪器使用朝内的摄像机和照明来估计注视方向，为视觉注意力提供线索，但需要佩戴者特定的标定和稳定的头戴设备放置。麦克风记录语音、环境声音和声学接触事件；多通道阵列额外捕获空间信息并支持更鲁棒的语音录制，但仍然对背景噪声和隐私约束敏感。Ego-Exo4D [119] 使用 Project Aria 记录眼动注视和七通道音频，而 HoloAssist [356] 将注视和音频与其视觉和追踪流同步。

肌电图（Electromyography）。肌电图（EMG）使用皮肤接触电极来测量由肌肉激活产生的电活动，而非手部位姿本身。EgoEMG [378] 以高于视频的速率记录双侧腕部 EMG 和 IMU，在手部被视觉遮挡时也能揭示运动活动。该信号对肌肉募集有信息量，但强烈依赖于电极放置、皮肤接触、参与者生理和特定会话的标定。

力与触觉传感（Force and Tactile Sensing）。力和触觉设备更直接地测量物理交互。力传感器报告一个或多个位置上载荷的大小或方向，而触觉或压力阵列则解析接触如何在面积上分布。FEEL [85] 在指尖和手掌放置压阻式力传感器，Touch and Go [388] 记录视觉探查与触觉传感器，EgoTouch [449] 将连续的可穿戴压力测量与头戴和腕戴 RGB 以及双手手部位姿相结合。这些可穿戴设备提供了视觉无法获取的接触信号，但有限的传感面积、传感器贴合度、每用户标定、布线以及对自然抓取的干扰可能限制采集规模和保真度。

4.3 监督构建（Supervision Construction）

自我中心监督可以由传感器记录、由人工标注者添加或通过后期处理恢复。我们根据暴露给学习的信息将其分为四个互补类别：语义监督描述任务内容和结构；几何监督描述空间状态和运动；多模态监督提供 RGB 之外的注意力、动力学和接触线索；机器人导向监督以用于机器人策略学习的形式表达人类演示。它们的构建结合了标注、标定、同步、重建和跨本体对齐，具有不同的成本和误差来源。

4.3.1 语义监督（Semantic Supervision）

动作与语言标注（Action and Language Annotations）。动作和语言标注识别什么活动发生以及何时发生。常见形式包括叙述、物体引用、动词-名词动作、动作类别和时间片段。参与者的叙述被转录并与视频对齐，而动作类别和边界则由人工分配或借助模型辅助后经人工验证。例如，EPIC-KITCHENS [72, 73] 将自由格式的参与者叙述转化为时间定位的动词-名词动作。Ego4D [118] 将大规模叙述与针对个别基准测试的标注相结合，而 Assembly101 [302] 提供装配动作的细粒度标签。这些标注支持识别、检索和时间定位，但不指定执行动作所需的连续运动或接触。

程序性与状态标注（Procedural and State Annotations）。程序性标注描述单个动作如何组成一个任务。它们包括有序步骤、任务进展、执行错误以及物体或环境状态变化，通常通过将视频与任务脚本对齐并验证偏离预期程序来构建。Assembly101 [302] 在装配程序中组织细粒度动作，而 CaptainCook4D [272] 将烹饪步骤与错误和物体状态一同标注。这种监督揭示了孤立动作标签所遗漏的长程依赖和任务结果，尽管其词汇通常特定于某一程序或领域。

4.3.2 几何监督（Geometric Supervision）

相机与场景几何（Camera and Scene Geometry）。相机和场景监督建立了交互发生的空间参考。它包括相机内参和外参、深度图、点云、相机位姿和轨迹、场景重建和点追踪。深度可以直接测量，如 H2O [181] 的 RGB-D 观测；其他量需要标定、视觉-惯性 SLAM、多视角重建或追踪。HOT3D [11] 提供标定的相机位姿，而 EgoDex [138] 将头戴设备追踪与 SLAM 相结合来恢复移动的自我中心相机轨迹。同步的自我中心和外部视图，如 Ego-Exo4D [119] 中的视图，进一步支持超出可穿戴相机视野的重建。所得几何对标定漂移、运动模糊和坐标系选择敏感。

手部与身体位姿（Hand and Body Pose）。人体位姿监督以多个细节层级发布。手部可以编码为2D或3D关键点、腕部和指尖位姿、关节旋转和轨迹，或 MANO 位姿和形状参数；而身体监督从头部和上半身轨迹到完整铰接骨架或参数化身体模型不等。由于这些表示描述的是输出而非获取方式，位姿标签可以按三种主要构建路径组织。

（1）标注辅助几何重建（Annotation-assisted Geometric Reconstruction）。标注者在一个或多个 RGB 视图中标记2D手部或身体关键点。在配准深度的情况下，可见关键点可以反投影到3D；在同步且标定的摄像机下，对应关键点可以跨视图三角化。AssemblyHands [270] 展示了一种可扩展的变体：它从手动标注的子集开始，训练多视角标注模型以将准确的3D手部位姿扩展到更大的集合。这一路径保留了直接的人工质量控制，但手动标注成本高昂，其3D精度取决于深度质量、跨视图对应和相机标定。

（2）基于模型的位姿预测与参数拟合（Model-based Pose Prediction and Parametric Fitting）。学习型视觉模型直接从记录的 RGB 或 RGB-D 观测生成位姿标签。关键点检测器预测2D或3D关节，而模型恢复网络可以回归 MANO 位姿和形状参数或类似的身体模型参数。这些初始预测可以用作伪标签，或进一步通过深度、轮廓、多视角一致性、时间约束和参数化模型拟合来精炼。例如，H2O [181] 使用 OpenPose 预测来初始化其手部标注，然后用同步的多视角 RGB-D 观测优化 MANO 手部模型。这一路径更容易扩展到未标注记录，但所得监督继承了由遮挡、运动模糊和领域偏移引起的模型误差和偏差。

（3）基于传感器的位姿捕获（Sensor-based Pose Capture）。前述手戴式、光学、头戴式和惯性系统独立于纯图像推理提供与位姿相关的测量。其信号通过标定、传感器融合或运动学拟合转换为铰接位姿。FPHA [110] 使用磁性指尖传感器，HOT3D [11] 将专业光学动作捕捉转换为 UmeTrack 和 MANO 手部标注，EgoDex [138] 从头戴设备追踪获取上半身和手部轨迹，Nymeria [245] 将可穿戴设备与惯性套装结合用于全身运动。仪器化捕获通常在视觉遮挡下产生更连续和准确的3D运动，但增加了标定工作量和参与者负担，且仍然依赖于特定设备的追踪模型。在所有三条路径中，位姿监督在关节定义、坐标系、时间稳定性和置信度方面各不相同，在比较或合并数据集时应予以明确说明。

物体与交互几何（Object and Interaction Geometry）。以物体为中心的监督描述被操作物体相对于手和场景如何运动。典型形式包括物体六自由度位姿、物体轨迹、手-物相对位姿和耦合的手-物轨迹。它们通过 CAD 模型配准、多视角重建、标记式动作捕捉、位姿估计或时间追踪获得。H2O [181] 在 RGB-D 序列中联合提供手和物体位姿，HOI4D [227] 标注手-物交互的空间演化，HOT3D [11] 发布标定的手和物体位姿。与语义物体标签不同，这些标注直接揭示了操作几何，尽管遮挡和物体对称性可能使位姿恢复变得模糊。

4.3.3 多模态监督（Multimodal Supervision）

注视与音频（Gaze and Audio）。注视和音频将视觉观测与注意力和声学上下文关联起来。原始注视测量必须被标定并投射为注视点、关注区域或注视轨迹，而音频必须与视频同步，并可选地与动作或状态变化对齐。EGTEA Gaze+ [206] 提供与厨房活动对齐的注视，Ego-Exo4D [119] 记录同步的注视和多通道音频。HoloAssist [356] 类似地将注视和音频与教学活动配对。这些线索有助于定位相关物体和事件，但注视标定误差和环境声音可能削弱其语义对应。

惯性与生理信号（Inertial and Physiological Signals）。惯性和生理监督捕获图像中不显式的运动动力学和肌肉活动。IMU 流提供加速度和角速度，而 EMG 测量肌肉激活；它们的使用需要同步、滤波、归一化和在通常远高于视频的采样率下进行分割。WEAR [22] 将自我中心视频与身体佩戴的 IMU 结合用于户外活动，Ego-Exo4D [119] 包含 Project Aria 惯性测量，EgoEMG [378] 将双侧 EMG 和 IMU 流与手部运动配对。这些信号在视觉遮挡下仍然可用，但对传感器放置、漂移和参与者生理敏感。

力与触觉信号（Force and Tactile Signals）。力和触觉监督提供物理接触的直接证据。根据传感器的不同，它可以表示为标量或矢量力、二元接触事件、指尖和手掌压力或空间触觉图。FEEL [85] 将指尖和手掌力测量与自我中心观测同步，Touch and Go [388] 记录视觉探查与触觉传感，EgoTouch [449] 将可穿戴触觉压力与头戴和腕戴 RGB 以及双手手部位姿配对。这些测量可以区分视觉上相似但接触结果不同的运动，尽管可穿戴传感不一定复现机器人的接触几何或力响应。

4.3.4 机器人导向监督（Robot-Oriented Supervision）

机器人兼容动作监督（Robot-Compatible Action Supervision）。机器人兼容监督将人体运动映射到目标动作空间，如末端执行器位姿、机器人关节配置、夹爪指令或重映射的灵巧手动作。它通过坐标变换、逆运动学、形态感知重映射和可行性过滤，从追踪的腕部、指尖或 MANO 运动中构建。例如，EgoVLA [391] 预测腕部位姿和 MANO 参数，并通过逆运动学和手部重映射将其转换为机器人指令。EgoScale [443] 用相对腕部运动和重映射的高自由度手部动作监督人类预训练，而 MotionTrans [411] 将人类 VR 运动转换为机器人策略学习。这些目标通常由某种方法生成，而非作为源数据集的原生标注发布，且几何上的合理性并不保证动力学可行或接触一致的执行。

人-机对齐监督（Human-Robot Alignment Supervision）。人-机对齐监督在不要求相同原始动作空间的情况下关联跨本体的演示。它可以采用任务或场景匹配的人与机器人演示、时间对齐的轨迹或两种本体都被映射到的共享表示的形式。EgoMimic [171] 对人手和机器人演示进行归一化以用于联合策略训练，而 EgoScale [443] 使用在匹配任务和场景中对齐的人-机器人互动作为中间训练阶段。H-RDT [19] 则将人手位姿预训练与特定于机器人的动作适配器相结合，METIS [101] 在一致的动作空间下整合多个人类和机器人来源。这些示例提供了不同强度的对应关系而非统一的帧级配对，因此对齐的类型和精度应予以明确说明。

4.4 优势与局限（Advantages and Limitations）

自我中心和他视角数据在无需在目标机器人上执行的情况下大规模捕获自然的人类演示。可穿戴系统可以部署到不同的参与者、环境、物体和任务中，而第一人称观测强调手-物交互和长程活动结构。与固定基座的机器人采集不同，人类操作员可以在环境中自由移动并用灵巧手直接操作物体。这种移动性使更广泛的空间覆盖和更多样的手部轨迹成为可能，包括接近方向、运动路径和交互高度的变化。图4中 EgoVerse 的示例说明了这一潜力：其人手交互关键帧跨越了广阔的三维工作空间并展现出显著的空间变化。

然而，自我中心数据不等同于机器人经验。第一人称记录受限于部分可观测性、手-物遮挡、快速相机运动、运动模糊和依赖设备的视角。密集的几何和多模态监督需要额外的硬件、标定、同步和重建，且在大规模下并非统一可用。更根本的是，人类记录缺乏机器人本体感知、驱动器动力学和直接可执行的动作。形态学、运动学、传感和接触响应方面的差异进一步阻止了直接的轨迹迁移。因此，它们在机器人学习中的使用需要可靠的状态重建、本体感知的表示以及人到机器人的对齐或重映射。

要点（Takeaway）

自我中心和他视角数据占据具身数据金字塔的中间层，提供了一条可扩展的路径来在多样化的野外环境中采集具有物理基础的交互轨迹。通过记录人类智能体与物理世界交互，这些数据捕获了自然操作行为和高自由度手部运动，在跨机器人本体复用方面具有巨大潜力。然而，它们的采集涉及可扩展性与标注保真度之间的权衡。无设备记录不显眼且易于扩展，但通常缺乏准确的手部位姿和交互标签，需要下游管线依赖基于模型的估计或学习型视觉重映射。可穿戴传感系统可以提供更直接和精确的测量，但仍然受到硬件成本、耐久性、用户负担和便携性的限制，特别是在大规模户外采集方面。除了这种采集权衡之外，它们在机器人学习中的效用还受到人体与机器人本体之间未解决的对齐问题的进一步限制。

自我中心视角和外视角数据能够大规模捕捉自然的人类演示，而无需在目标机器人上执行。可穿戴系统可部署于不同的参与者、环境、物体和任务中，而第一人称观测强调手-物交互和长时程活动结构。与固定基座的机器人数据采集不同，人类操作者可以在环境中自由移动，并用灵巧手直接操作物体。这种移动性带来了更广的空间覆盖和更多样的手部轨迹，包括接近方向、运动路径和交互高度的变化。图4中EgoVerse的示例展示了这种潜力：其人手交互关键帧跨越了广阔的三维工作空间，并表现出显著的空间变化。

然而，自我中心数据并不等同于机器人经验。第一人称录制存在部分可观测性、手-物遮挡、快速相机运动、运动模糊和设备相关视角等问题。密集的几何和多模态监督需要额外的硬件、校准、同步和重建，且在大规模情况下并非均匀可用。更根本地，人类录制缺乏机器人本体感知、执行器动力学和直接可执行的动作。形态学、运动学、感知和接触响应方面的差异进一步阻碍了直接的轨迹迁移。因此，将其用于机器人学习需要可靠的状态重建、本体感知表征以及人-机对齐或重定向。

五、仿真数据（Simulation Data）

5.1 数据概述

在具身数据金字塔中，仿真数据作为真实世界机器人数据的可扩展且可控的补充。虽然真实机器人数据对于捕捉本体特定的动力学、传感器噪声、接触效果和部署约束是必要的，但其采集往往受限于成本、安全、硬件可用性和标注难度。仿真通过实现可重复的交互条件、自动获取特权状态和标签以及低成本的轨迹生成，缓解了这一瓶颈的一部分。最近的数据集进一步尝试通过数字孪生 [349, 366]、域随机化 [49, 50, 259] 和配对的 sim-to-real 评估 [202] 来缩小仿真-现实差距。因此，仿真已不仅是基准构建和评估的工具，更成为训练通用机器人策略的重要数据层。尽管如此，与具身数据金字塔的上三层相比，仿真数据在多样性和物理保真度方面通常仍然更为有限。

如表4和表5所总结的，仿真机器人数据在规模和范围上均有扩展。早期基准主要集中在受约束的刚体操作上，如桌面控制 [408]、语言条件操作 [153] 和大规模抓取 [92]。后来的数据集引入了更长时程的交互 [254]、组合式任务设置 [217] 和家庭操作 [262]。更近期的资源进一步将仿真扩展到双臂操作 [49, 50, 259]、人形操作 [26]、铰接体交互 [121]、可变形物体和流体操作 [233, 341, 360]，以及带有触觉感知的富接触操作 [43]。与此同时，数据生成变得越来越自动化，从脚本化任务和遥操作转向基于运动规划和RL专家 [332]、演示增强 [251]、数字孪生重建 [349, 366] 以及LLM辅助的任务或环境合成 [53, 144, 341, 359] 的流水线。

5.2 仿真基础设施与资产生态系统

如图7所示，一个仿真机器人学习生态系统可以被视为三个耦合基础设施组件的组合：本体-传感器系统、物体和场景资产、以及物理和渲染后端。本体-传感器系统不仅定义了机器人形态学、运动学、驱动模型和控制器接口，还定义了与机器人本体物理关联的感知通道，如本体感知、腕部或头部视觉、力感知和触觉阵列。物体和场景资产提供了环境的几何、语义和可供性结构，而物理和渲染后端则决定了生成数据的接触动力学、视觉外观和执行保真度。

图7展示了仿真基础设施和数据采集流水线的概览。左侧面板总结了构建仿真环境所需的核心组件，包括机器人本体和传感器、场景、物体资产和仿真引擎。右侧面板将代表性的轨迹采集方法分为人类遥操作、带场景和物体增强的轨迹回放、基于专家定义的任务逻辑和运动规划的规则化执行，以及通过训练策略或基于LLM的规划实现的自主生成。

5.2.1 机器人本体与传感器

构建仿真操作数据首先需要将本体-传感器系统导入仿真器，其中机器人资产被实例化为可控的铰接模型，其传感器被配置为在交互过程中获取观测。仿真器解析URDF、MJCF、SDF或USD等机器人描述文件来指定运动学、关节限位、惯性属性、碰撞和视觉几何、驱动器以及传感器附件 [53, 341, 439]，然后将系统置于具有定义的初始位姿、关节状态、物体、光照、重力求解器设置的场景中。

在仿真机器人数据集中，固定式单臂操作器是最常见的本体配置，如 Franka Kitchen [122]、Meta-World [408]、RLBench [153]、RoboMimic [250]、CALVIN [254]、Simpler-Env [202]、RMBench [51]、UniVTAC [43] 和 LIBERO [217]。其他基准涵盖灵巧手，包括 Adroit [288]、Bi-DexHands [56] 和 DexArt [12]；移动操作，包括 BEHAVIOR-1K [189]、ManiSkill2 [121]、ManiSkill-HAB [315] 和 RoboCasa [262]；以及双臂系统，包括 RoboTwin [259]、BiGym [61]、RMBench [51]、DuoBench [167]、BiCoord [273] 和 RoboDojo [50]。ManiSkill3 [332]、RoboTwin 2.0 [49]、RoboMIND-Sim [366] 和 RoboMME [71] 进一步支持多种本体类别，而 HumanoidBench [305] 面向人形控制。

5.2.2 物体和场景资产

资产生态系统不仅包括机器人模型，还包括可操作的物体、材料和场景布局。物体级资产决定了仿真操作数据的类别覆盖、几何变化、纹理真实感和可供性结构。基于CAD和网络规模的资源（如 ShapeNet [39]、Objaverse [78] 和 Objaverse-XL [77]）提供了广泛的物体形状多样性。扫描或基于产品的资源（如 Google Scanned Objects [87]、Amazon Berkeley Objects [65] 和 OmniObject3D [375]）通过将资产锚定于真实物体或产品数据来提升几何和纹理真实感。

然而，机器人学习资产不能仅仅是视觉上合理的网格：它们还需要仿真器兼容的碰撞几何、一致的缩放比例、稳定的位姿、质量和惯性参数、材料属性，以及在适用时提供抓取可供性或铰接标注。PartNet-Mobility [379] 提供了带有移动性标注的铰接物体，用于零件级交互。ObjectFolder 2.0 [108] 引入了连接视觉、声学和触觉属性的多感官物体表示。PhysXNet [33] 进一步引入了首个物理感知3D数据集，将3D表示从几何和外观扩展到包括物理属性。PhysX-Mobility [34] 随后提供了即插即用的仿真就绪铰接资产，而 PhysXVerse [35] 将此范式推广到更广泛、更多样化的仿真就绪3D资产集合。

除了精选或重建的集合之外，生成式建模提供了扩展资产池的可扩展途径：ManiTwin [349] 贡献了包含超过100K个AIGC生成的刚体物体的大型库，每个物体都配备了面向操作的标注，用于自动化数据合成。这种耦合至关重要，因为仅扩展资产是不够的——没有可操作的标注，即使丰富的资产也无法转化为可用的操作数据——这将AIGC驱动的生成定位为联合扩展资产多样性和下游数据合成的有前景方向。在场景层面，ScanNet [68]、Replica [326]、Matterport3D [38]、HM3D [289]、HSSD [172]、3D-FRONT [100] 和 ProcTHOR [76] 提供了重建的、合成的或程序化生成的室内环境，用于导航、重排和家庭交互。因此，资产生态系统不仅定义了智能体所观察到的内容，还定义了它在物理上可以接触、操作和推理的内容。

5.2.3 物理和渲染后端

物理和渲染后端决定了接触动力学、关节约束、数值稳定性、并行化和视觉真实感。MuJoCo [342] 因其高效的动力学和稳定的接触建模，仍被广泛用于刚体控制、富接触操作和运动控制。MuJoCo Playground [414] 进一步将这一方向扩展到基于加速器的并行训练。Isaac Sim [268]、Isaac Gym [247] 和 Isaac Lab/Orbit [256] 强调GPU并行仿真、照片级渲染、传感器建模和合成数据生成。SAPIEN/PartNet-Mobility [379] 专注于铰接体交互和基于PhysX仿真的可扩展操作。PyBullet [66] 在轻量级原型和基线环境方面仍然有用。CoppeliaSim [295] 和 PyRep [152] 支持灵活的任务构建，如 RLBench [153] 所示。Habitat 2.0 [329] 和 Habitat 3.0 [276] 面向导航、重排和人-机共存。

专用引擎进一步扩展了物理范围：SoftGym [213] 支持可变形物体操作，TDW [105] 支持多模态物理交互，Brax [99] 提供JAX原生的加速器友好仿真，Genesis [112] 面向统一多物理场仿真，Newton [216] 旨在实现可微物理仿真。从这个意义上说，仿真器后端约束了可行的数据分布：刚体引擎有利于富接触控制和操作，面向渲染的引擎支持视觉多样的合成数据，而专用引擎则实现了可变形、触觉或可微机器人学习。

5.3 基准与仿真数据集

表4和表5总结了仿真数据生态系统的两个互补组件。表4聚焦于基准和评估环境，表征其支持的本体和交互设置。在此表中，'S'、'D'和'H'分别表示单臂、双臂和人形本体；灵巧手和移动能力分别在"Dex."和"Mobile"列中单独报告。

现有基准涵盖了广泛的配置范围，从单臂桌面操作 [153, 217, 408] 到双手协调 [49, 50]、灵巧操作、移动操作 [262, 263] 和人形控制 [305]。尽管如此，刚体操作仍然占据主导地位，而触觉感知和可变形物体交互仅由相对有限的一部分环境所支持。

表5从数据量、任务覆盖、本体多样性和支持的操作设置方面总结了大规模合成和基于仿真的数据资源。这些资源涵盖了从任务级操作轨迹到大规模抓取和灵巧手样本。最近的数据集越来越多地融合了多种本体和大幅增加的数据量，包括数十万或数百万条轨迹，以及对于以抓取为中心的资源而言，规模更大的生成样本集合。然而，大多数数据集仍然集中在刚体或铰接体操作上，在可变形交互和移动操作方面的覆盖相对有限。

表5 面向机器人学习的大规模仿真数据集，按本体配置、数据规模、任务覆盖、物体可变形性、灵巧操作和移动操作进行总结。在"Arm"列中，'S'和'D'分别表示单臂和双臂。

5.4 合成演示生成

人类执行的演示。最直接的仿真数据采集形式是记录通过人类控制产生的轨迹。这一类别包括遥操作、基于VR的控制、动作捕捉重定向和仿真环境中的游戏式交互 [61, 217, 254]。在这种设置中，仿真器主要充当一个可提供同步观测、机器人状态、动作、语言标注、物体状态和成功标签的仪器化记录环境。

与完全脚本化的生成相比，人类执行的演示可以更好地捕捉自适应行为、恢复策略和时间连贯的操作模式，尤其是在难以指定合适脚本专家的富接触或长时程任务中。然而，可扩展性仍然受到回合金级的人力、操作者专业技能和遥操作界面保真度的限制。因此，仿真中的人类演示通常被用作直接的模仿学习数据，或作为后续回放、增强或合成扩展的种子轨迹。

基于规则的执行。基于规则的执行从手动指定或特权任务级专家生成仿真轨迹，包括启发式技能组合 [427]、程序化专家策略 [164] 和航点序列 [153]。一个任务通常被分解为多个阶段，如选择目标物体、计算抓取或接触位姿、接近目标、执行交互和检查任务完成。然后，逆运动学、任务与运动规划、模型预测控制、碰撞感知运动规划、轨迹优化或任务特定控制器可以将这些阶段级目标转换为密集的关节空间或末端执行器动作 [121, 332]。这一范式已在可获取特权状态、物体位姿、铰接状态和碰撞模型的仿真基准和数据生成环境中得到广泛应用，包括 RLBench [153]、ManiSkill2 [121]、ManiSkill3 [332]、VIMA-Bench [164] 和 VLABench [427]。

基于规则的执行提高了可重复性，降低了采集额外回合的边际成本。它对于具有明确定义的几何目标、结构化工作空间、可靠重置和明确定义的成功条件的任务特别有效。尽管如此，生成的行为分布受限于程序化指定专家的表达能力。传统运动规划主要解决几何执行问题，其本身并不确定任务语义、接触可供性或恢复策略。因此，基于规则的数据集可能未能充分表示模糊的语义决策、非抓持式交互、富接触适应，以及在真实部署中遇到的多样化次优但可恢复的行为。

轨迹回放与演示扩展。轨迹回放和演示扩展从已有轨迹出发，重用它们来合成额外的仿真数据。源轨迹可来自遥操作、动觉教学、人类视频重定向、运动规划或先前策略的rollout。在仿真中，这些轨迹可以在新的物体配置、场景布局、本体和相机条件下被回放、空间变换、分割、拼接或重定向。以物体为中心的增强方法（如 MimicGen）重用少量演示的时间结构，同时将其适应于新的物体位姿和任务实例 [251]。这一范式已在 DexMimicGen [166] 中扩展到双手和灵巧操作。RoboCasa 将相关的自动轨迹生成方法集成为家庭和厨房操作更广泛框架的一个组件 [262]。

这一类别处于人类执行数据和完全脚本化生成之间的中间位置。与遥操作相比，它大幅减少了重复的人力投入；与手工设计的基于规则的专家相比，它可以保留人类演示中存在的时间结构、运动风格和任务策略。然而，其覆盖范围仍然以种子轨迹的多样性和质量为条件。当物体几何、接触条件或任务约束与原始演示存在显著差异时，开环回放可能会失败，此时需要闭环校正、重新规划或过滤。因此，当任务允许以物体为中心的变换或可复用的技能片段时，演示扩展最为有效，但在需要定性上全新的策略或长时程语义决策的任务中仍然受限。

自主策略与生成式Rollout。一类更自动化的方法通过学习策略 [398]、强化学习专家、LLM或VLM生成的任务程序、场景图求解器、组合式技能库、世界模型或生成式仿真流水线来生成仿真轨迹。在自主策略rollout中，动作由通过强化学习、模仿学习、课程学习或先前轮次数据生成训练的策略产生。此类rollout通常在仿真环境中采集，用于多任务操作、灵巧操作、铰接体操作、可变形物体操作和全身控制。代表性环境包括 Meta-World [408]、DexArt [12]、Bi-DexHands [56]、SoftGym [213]、PlasticineLab [149]、DaXBench [48] 和 HumanoidBench [305]。相对于固定的基于规则的专家，学习策略可以对观测做出反应，并可能访问策略诱导的状态，包括失败和恢复。尽管如此，生成的数据分布受到奖励设计、探索策略、策略能力、仿真器保真度和数据保留标准的强烈影响。因此，低质量策略可能产生大量冗余或不成功的数据，使得验证和过滤变得必不可少。

最近的生成式数据工厂进一步将人力从编写逐任务专家转向设计可扩展的任务、资产、技能和验证流水线。LLM辅助的系统（如 GenSim [350] 和 GenSim2 [144]）生成仿真任务、任务代码或铰接体操作设置，随后使用规划或强化学习求解器来生成演示。RoboGen [359] 类似地探索了用于任务、场景和监督生成的生成式仿真。RoboTwin [259] 和 RoboTwin 2.0 [49] 通过生成式数字孪生、域随机化和本体感知执行，强调可扩展的双手操作数据生成。InternData-M1 [53]、GenManip [107] 和 InternData-A1 [341] 实例化了这种范式的更模块化形式，其中场景图、物体状态、技能规范、航点、运动规划、物理验证和渲染被解耦，以生成用于指令遵循、空间定位和通用策略训练的数据。更大的仿真平台和数据引擎，包括 RoboVerse [113]、Genie Sim 3.0 [401]、ManiTwin [349] 和 RoboCasa365 [263]，通过将资产构建、场景生成、多本体执行、渲染和基准测试集成到统一的合成数据流水线中，进一步扩展了这一方向。

这一类别还包括最近将合成数据扩展到传统RGB和本体感知轨迹之外的努力。GraspVLA/SynGrasp-1B [80] 和 Dex1B [395] 生成大规模合成动作数据，用于抓取和灵巧操作。视觉-触觉仿真框架通过合成触觉观测、弹性体变形、标记点位移场或其他多模态触觉信号，将策略rollout扩展到富接触设置。代表性系统包括 Taxim [317]、TACTO [354]、Tactile Gym [214]、Tacchi [58]、DiffTactile [318]、TacEx [265]、TacSL [2]、TacCel [208]、TacFlex [418]、UniVTac [43] 和 Tac2Real [387]。Tac2Real [387] 是这一趋势的典型代表，因为它使用高通量的视觉-触觉仿真来支持在线强化学习和富接触操作的零样本 sim-to-real 迁移。

除了基于物理的仿真之外，DreamGen [155] 引入了一个相关的基于世界模型的方向，其中视频世界模型从初始视觉状态和语言指令生成合成机器人视频或神经轨迹，随后通过伪动作恢复用于策略学习。这些方法减少了特定任务遥操作和手动脚本编写的需求，但也引入了额外的风险，包括任务无效性、语义不一致、视觉-动作不对齐、幻觉动力学、规划器诱导的行为偏差，以及与真实机器人经验的分布不匹配。

5.5 世界模型作为仿真器

除了传统的基于物理的仿真，最近的工作越来越多地将世界模型探索为用于机器人学习的学习型仿真器 [141]。世界模型不依赖于手动指定的资产、动力学和渲染流水线，而是从收集的观测和交互中学习预测性环境动力学。在观测历史、任务描述和候选动作的条件下，它们生成未来的观测、潜在状态、奖励或任务结果，从而将已有经验转化为想象的交互轨迹。这一思想建立在基于模型的强化学习和潜在想象 [124, 126–128] 之上，并已被 DayDreamer 和 UniSim 等系统扩展到真实机器人学习和交互式视觉仿真中 [370, 392]。

5.5.1 用于策略训练和后训练的世界模型

世界模型可以作为虚拟环境，在其中优化策略而无需反复与物理机器人交互。想象的转换和估计的奖励支持强化学习、策略适应和VLA后训练。代表性方法包括 World-Env、VLA-RFT、DiWA 和 World4RL [37, 165, 193, 380]，而最近的系统进一步探索了自主游戏、进度估计和大规模基于世界模型的策略优化 [307, 336, 381, 389, 402, 423, 452]。这些方法可以降低真实世界交互成本并并行生成经验，但其收益取决于学习型仿真器是否保留了机器人动作的因果效应。

5.5.2 用于策略评估的世界模型

学习型仿真器还可以在物理部署之前估计策略性能。WorldGym 和 WorldEval 研究生成的rollout是否能够支持策略评估和检查点选择，而基于Veo的评估则检查标称、分布外和安全相关行为 [111, 204, 286]。与策略训练不同，此处的目标是预测任务进度、完成、失败或不安全结果，而非直接更新策略。因此，仅凭视觉真实感是不够的：有用的评估器必须保留动作可控性、任务语义、时间一致性以及候选策略的相对排序。

5.5.3 作为合成数据引擎的世界模型

世界模型进一步提供了一种可扩展的机制，用于在场景、指令、动作、视角或本体的条件下合成交互数据。DreamGen 通过潜在动作或逆动力学模型生成机器人视频并恢复伪动作，而 GigaWorld-0 则明确地将生成式世界模型视为具身学习的数据引擎 [114, 155]。与传统的数据增强相比，这些方法建模了时间演化和动作后果；与基于物理的仿真相比，它们减少了对手动构建资产的依赖。然而，生成的视频不一定包含准确的可执行动作，且动作恢复可能引入视觉-动作不对齐。

总体而言，世界模型正在从辅助预测组件演变为用于策略优化、评估和数据生成的学习型环境。它们的可扩展性和视觉覆盖使其成为基于物理仿真器的有前景的补充，但预测误差、模型利用、动作模糊性和分布漂移可能产生看似合理但物理上无效的轨迹。因此，学习型仿真需要针对真实机器人或基于物理的交互数据进行过滤、不确定性估计和校准。

5.6 Sim-to-Real 差距

仿真-现实迁移一直是基于仿真的机器人数据中的核心问题，因为合成轨迹被期望支持真实机器人部署，而不仅仅是仿真器内学习 [43, 259, 263]。从以数据为中心的视角来看，这一差距主要来自观测不匹配和交互不匹配。

第一个方面涉及渲染的感官观测与真实机器人感知之间的差异。尽管最近的仿真数据集通过3D资产、光照、相机模型、铰接体和多模态传感器提高了真实感 [53, 84, 341]，但其观测在纹理、光照、材料外观、深度噪声、相机校准、遮挡、触觉响应和力信号方面仍可能与真实数据存在差异。

第二个方面涉及仿真与真实机器人-环境交互之间的不匹配，可进一步分为运动学差距和动力学差距。运动学差距源于机器人形态、关节限位、坐标系、动作接口、控制器频率和校准的差异，通常可以通过精确的机器人建模、real-to-sim对齐和与硬件一致的控制接口来缩小。动力学差距更难消除，因为真实执行涉及执行器延迟、柔顺性、力矩饱和、间隙、摩擦、接触、变形、物体惯性和多体交互效应，而这些仅被当前仿真引擎部分捕捉。为了提高效率，许多仿真流水线进一步简化接触动力学、使用粗时间步或近似机器人-环境状态更新，产生的轨迹可能视觉上合理但与真实执行在动力学上不一致 [14, 67, 361]。

因此，核心问题不仅在于能生成多少仿真数据，还在于生成的数据是否捕捉了决定真实机器人部署的感官变化、运动学一致性和不可约的动力学不确定性。

5.7 优势与局限

仿真数据通过在可控的虚拟环境中生成机器人观测、动作和任务结果，提供了可扩展的监督。与真实机器人数据相比，它可以以更低的边际成本、广泛的并行化、有限的安全风险和零硬件磨损来采集。仿真器还提供难以从真实系统获取的特权标签，如物体位姿、分割掩码、接触状态、物理参数、成功信号和密集奖励。这些特性使仿真适用于大规模策略预训练、可控评估、场景和任务随机化，以及多样化交互轨迹的合成。

仿真数据的主要局限在于有限的物理保真度。在感知、驱动、接触和物体动力学方面的近似可能产生实质性的 sim-to-real 差异，特别是对于富接触操作、可变形物体、反射材料、液体和长时程任务。此外，规模并不必然意味着多样性：如图4中 InternData-A1 所示，技能约束的生成可能产生许多动作关键点仍集中在小区域内的轨迹，表明存在大量重复。

因此，仿真策略通常需要域随机化、系统辨识、数字孪生重建或真实世界微调。

六、通用数据（General Data）

6.1 数据概述

机器人学习不仅仅依赖于直接从物理机器人采集的数据。虽然机器人轨迹为动作生成和控制提供了最直接的监督，但采集成本高昂且通常仅覆盖有限的物体、环境和任务范围。因此，现代机器人基础模型融合了大量通用的图像、视频、语言、空间和推理数据。此类数据的首要目的不是教特定机器人如何运动，而是建立物理动作可以被高效学习之前所需的感知、语义、空间、时序和规划能力。通用数据的特点是规模庞大、覆盖广泛、多样性高，但与可执行的机器人动作的对应关系较弱，且缺乏直接的机器人-环境交互。

通用数据应根据它们对机器人模型贡献的能力来理解。如图8和表6所示，通用视觉-语言数据提供广泛的语义知识和常识推理；分割和定位数据将知识锚定于空间区域；视频数据引入时序和程序化结构；空间和3D数据提供几何感知；面向规划的数据教会模型将观测和目标组织为可执行的步骤。这些能力构成了认知基础，在此之上学习机器人特定的轨迹和控制信号。

6.2 视觉-语言数据

视觉-语言数据为现代机器人模型提供了语义和推理基础。机器人轨迹通常覆盖有限的场景、物体和任务集合，而大规模的图文和视频-文料语料库则使模型接触到多样化的场景、活动、工具、材料和语言表达。除了视觉识别和指令理解之外，描述生成、视觉问答和多模态指令数据提供了关于物体属性、空间关系、人类意图、功能和可能事件结果的常识知识，这些知识很少在机器人演示中被明确标注，但对任务解释和规划很重要。

基于图像的指令混合数据，包括 LLaVA 风格的数据 [188, 219]、ShareGPT4V [46] 和 PixMo [79]，结合了来自 COCO、VQA、Visual Genome 和 A-OKVQA [6, 179, 212, 300] 等基准的描述、问题、详细描述和推理回答。它们教会模型识别场景内容、理解关系、比较区域或视角，以及回答自然语言问题。视频-语言数据进一步引入了人类动作、物体状态变化、时序顺序和程序化结构。以自我中心或机器人视角的标注了描述或问答对的视频提供了第一人称的语义和时序理解，尽管它们并不直接监督机器人动作 [118, 139, 159, 434]。

这些数据集从公共视觉资源库、网页、视频平台、教学视频和现有基准中收集。虽然早期语料库主要依赖人工标注，但最近的流水线越来越多地使用多模态模型大规模生成描述、问题、回答、推理依据和对话。这种生成方式提高了覆盖范围和多样性，但可能引入幻觉物体、错误关系或泛化的语言。因此，自动标注通常通过置信度估计、一致性检查、答案验证、模型一致性或人工审核进行过滤，并常与较小的高质量人工标注数据集结合使用。

在机器人基础模型中，视觉-语言数据主要用于多模态对齐和指令调优，建立广泛的场景理解、常识推理、任务理解和问答能力，包括在模糊、不充分或有噪声指令下的情况 [160, 373, 374]。在随后的机器人特定训练中，通用视觉-语言数据可以被保留以维持语义和语言能力，而空间定位、规划、抓取和轨迹监督则将这种广泛的知识与可执行行为相连接。

6.3 分割与定位数据

目标检测、分割和定位仍然是机器人感知的核心，因为操作通常围绕物体及其功能部件组织。在抓取杯子、打开抽屉、按下按钮或放置物品之前，机器人必须识别相关物体、估计其位置，并确定交互应发生在何处。因此，这些数据通过显式的空间定位来补充从视觉-语言语料库中学习的语义知识。

经典数据集通过边界框、语义或实例掩码以及零件级区域来监督物体类别。COCO [212]、LVIS [123]、Objects365 [306]、ADE20K [448] 和 SA-1B [176] 提供了对日常物体和场景的广泛覆盖，而以零件为中心的资源（如 PACO [290]）则标注了更细粒度的功能组件。这种区分对于操作尤为重要：如果策略无法定位抽屉的把手，识别出抽屉是不够的；使用工具可能需要将其可抓取区域与功能端分离。

语言条件定位进一步将视觉感知与自然语言指令连接。指代表达数据集（如 RefCOCO [404]）将描述与目标边界框或掩码关联，而 PixMo-Points [79] 监督基于坐标的指向。面向机器人的数据集，包括 RoboRefIt [236] 和 RoboPoint [413]，将这些任务扩展到杂乱的室内和操作场景。可供性数据集通过识别可抓取部件、把手、按钮、放置区域或可导航区域来增加动作相关性，将预测目标从"物体是什么"转变为"交互应发生在何处"。

这些数据集从网络图像、摄影资源库、识别基准、桌面场景、自我中心录制、机器人搭载的相机和合成环境中收集。其标注可以是手动绘制的边界框和掩码、交互式或模型辅助的分割、指代表达或点选。仿真提供了精确的物体身份、掩码、坐标和可见性信息，无需手动标注，而最近的流水线越来越多地使用多模态模型生成区域描述或指代表达，随后进行几何检查、置信度过滤或人工验证。

对于机器人学习，此类数据的主要价值在于将语义概念转化为空间上可操作的目标。模型可能理解"拿起红色杯子"这一指令，但操作系统仍需要一个边界框、掩码、点或零件级区域来在当前观测中定位该杯子。然后，这种表示可以条件化抓取生成、导航、运动规划或低级控制。因此，分割、定位、指向和可供性定位提供了通用视觉理解与物理执行之间的直接接口。

然而，来自通用图像的标注并未完全捕捉机器人感知的难度。机器人场景通常涉及严重遮挡、重复的物体类别、不寻常的视角、运动模糊和部分可见的功能部件，而自动生成的表达式可能模糊或指向错误的实例。因此，鲁棒的系统通常将大规模通用分割数据与较小的、任务相关的机器人数据集相结合，并在真实操作场景中应用关系感知标注、过滤或验证。

6.4 3D数据

3D数据为具身感知和物理交互提供了所需的几何基础。通用视觉-语言数据可能使模型能够识别物体并理解场景语义，但机器人还必须估计物体在哪里、有多远、方向如何，以及它们相对于智能体和周围环境是如何排列的。因此，此类数据支持关于深度、距离、方向、包含、支撑关系、可见性、自由空间和视角变化的推理。

这一类别包括RGB-D图像、点云、重建网格、多视角观测、相机轨迹、3D物体标注和空间问答数据。室内场景数据集如 ScanNet [68]、ScanNet++ [399]、ARKitScenes [13] 和 3RScan [345] 提供了RGB-D序列以及相机位姿和重建几何。语言增强资源如 ScanQA [9] 和 SQA3D [246] 进一步要求模型回答关于物体位置、相对方向和以智能体为中心的观测的问题。其他数据集从物体坐标、场景图或重建环境中生成空间问题，为度量和关系推理提供可扩展的监督。

这些数据通常使用RGB-D相机、移动设备深度传感器、立体视觉系统、LiDAR或多视角重建流水线采集。深度图 [13, 320] 和相机位姿可以直接从传感器、视觉惯性跟踪、SLAM [260] 或运动恢复结构 [298] 获取。然后，多个观测被融合为点云或网格。物体身份 [68, 345]、语义区域 [68, 399]、3D边界框 [13] 和场景关系通常手动标注 [346]，而距离、相对方向、可见性和包含等几何属性可以从重建场景中自动计算。合成环境提供了额外的监督来源，因为它们可以直接输出精确的深度、表面法线、相机参数、分割标签和物体位姿。

对于机器人学习，这些数据的主要价值在于将视觉观测转化为环境的物理上有意义的表示。机器人不仅需要确定哪个物体是相关的，还需要判断它是否可达、是否有另一个物体阻挡了接近路径、是否有足够的自由空间用于操作，以及从哪个视角可以最清晰地观察目标。三维场景表示还允许整合从不同视角获取的信息，这在物体被部分遮挡或暂时超出相机视野时很重要。

因此，空间和3D监督支持导航、碰撞避免、视角选择、物体搜索、抓取规划和操作。它提供了评估语义上合理的动作是否在物理上可行的几何上下文。在机器人基础模型中，这些数据通过将物体和任务概念锚定于深度、尺度、方向和场景结构来补充视觉-语言理解，从而提供规划和控制模块运作的几何基础。

6.5 面向任务分解的规划数据

规划数据监督将任务目标和当前观测转化为有序的步骤、子目标或下一步动作序列。与低级控制数据不同，其目标描述的是抽象的任务结构，如定位物体、准备工作空间、执行操作步骤和验证结果状态。因此，它们提供了语义理解和本体特定执行之间的中间推理层。

此类数据可以从手写指令、手册、教学或自我中心视频、机器人演示和仿真中获取。基于视频的数据集将演示分割为有意义的阶段，并将观测与下一步预测、子目标序列或推理轨迹关联，如 EgoPlan-IT 和 EgoCOT [55, 258] 所示。机器人轨迹通过动作序列和物体状态转换提供更具物理基础的监督，而仿真则可以利用显式状态、动作前提条件和成功条件进行可扩展的生成和验证。

语言和多模态模型也越来越多地被用于生成规划或下一步动作标注，尽管此类输出可能包含看似合理但物理上无效的步骤。一种互补的用法是让预训练模型在部署时直接提供规划，而非作为离线监督：ASCENT 通过将前沿排序与基于LLM的上下文推理相结合，在多层建筑中执行零样本目标物体导航，无需特定任务重训练即可泛化到未见过的物体类别 [116]。此类免训练流水线展示了通用数据先验单独能在多大程度上支撑高级具身决策，同时也暴露了其局限性，因为生成的规划仍未锚定于本体自身的动力学。因此，这些标注需要通过已证明的动作顺序、状态变化、仿真器执行、成功条件或人工审核进行过滤。与机器人轨迹和控制数据相结合，规划监督帮助具身模型分解长时程目标、跟踪任务进度并选择可执行的子目标。

6.6 视频与时序数据

视频-时序数据为具身模型提供了一种感知记忆形式。机器人不是将任务作为单张图像来观察，而是接收一连串连续的部分观测流，其中物体可能移动、改变状态、被遮挡或从视野中消失。模型因此必须将当前观测与过去的事件联系起来，并确定与任务相关的动作或状态转换何时发生。这一类别主要包括时序定位、事件定位、步骤分割和长视频记忆监督，而非通用的动作识别。

时序定位将语言查询或任务描述与特定的视频区间对齐。给定一个查询，如"抽屉何时被打开？"或"定位物体被放入容器的步骤"，模型预测相应的起始和结束时间戳。这需要在观测历史中搜索、检索相关事件，并将其与其他时间的相似动作区分开来。长视频和情景记忆数据进一步训练模型回答"发生了什么"、"何时发生"以及"物体之前在哪里被观察到"。自我中心录制特别有用，因为它们提供了类似于具身智能体感知历史的长时间、移动中的、部分可观测的流。

这些数据集通常从教学、日常活动或自我中心视频中收集。人工标注者可以将视频分割为有意义的步骤、为每个区间编写描述，或根据查询选择时间边界。叙述时间戳提供了较弱的事件-语言对齐，而更大规模的流水线可以使用多模态模型生成描述和候选时间戳，随后进行转录对齐、一致性过滤或人工验证。此类监督帮助具身模型检索过去事件、跟踪物体状态变化，并在长时间交互中识别任务进度。

6.7 物理、因果与失败推理

物理推理数据教会模型预测场景在不同动作下可能如何变化。CLEVRER [400] 和 IntPhys [293] 等数据集为碰撞、物体永久性、稳定性、未来状态预测和反事实推理提供监督。它们帮助模型区分物理上合理的结果和不可能的结果。

面向失败的数据 [228]，如 RoboFail [228]，更直接地关注机器人执行。它们可以标注任务是否失败、识别失败发生的阶段、解释其原因或描述可能的恢复动作。此类监督可用于训练评判器、进度估计器或规划时验证器。

合成物理数据集在仿真中生成，其中物体状态、碰撞和反事实结果可以自动获取。真实世界失败数据需要在各种条件下反复执行任务。标签可以手动提供、从任务成功检测器推导，或通过比较观测到的状态转换与预期目标来生成。

6.8 抓取数据

抓取数据指定机器人末端执行器应在何处以及如何接触物体。适当的表示取决于任务。Cornell [187]、Jacquard [83] 和 Grasp-Anything [344] 提供图像平面的抓取矩形，而 GraspNet-1Billion [94]、ACRONYM [92] 和 Grasp-Anything-6D [266] 提供三维平行夹爪抓取候选。SuctionNet [32] 提供表面接触和吸附质量，而 DexGraspNet 风格的数据集 [353, 424] 表示腕部位姿和多指关节配置。

二维抓取数据构建高效且支持自上而下的抓取预测，但其输出在机器人执行前通常需要深度和相机校准。相比之下，6-DoF数据集直接在三维坐标中指定夹爪位姿，还可能包含夹爪宽度、碰撞状态和抓取质量。语言条件数据集（如 RefGraspNet [17]）额外将指代表达与一组可执行的抓取位姿连接。

抓取标注使用多种方法生成。小规模2D数据集可使用手动绘制的带方向矩形。较大的合成数据集在物体网格周围采样候选位姿，并使用几何度量、碰撞检测或物理仿真来评估它们。场景级数据集渲染或捕获RGB-D观测，并将有效的物体级抓取转换为场景坐标。然后可使用真实机器人试验来验证仿真得出的质量分数。

区分直接抓取位姿数据和辅助抓取资源很重要。接触图、人手-物体交互数据、物体位姿标注和3D物体网格提供了有用的先验，但它们并不直接指定可执行的机器人夹爪位姿。它们通常需要单独的抓取生成器、重定向方法或优化阶段。

6.9 优势与局限

通用数据提供了任何机器人采集源都无法比拟的规模、多样性和可及性。它们不需要硬件、遥操作或环境重置，可以从现有的网络、视频和基准资源中以低边际成本组装，并且保持与本体无关，因此同一语料库可跨平台和任务复用。它们的贡献也是互补而非冗余的：来自视觉-语言语料库的语义和常识知识、来自分割和定位数据的空间定位、来自3D数据的几何结构、来自视频的感知记忆、来自规划数据的任务结构，以及来自推理基准的物理合理性，共同构成了使后续机器人特定训练更高效的认知基础。

对应的局限在于弱动作锚定。通用数据既不捕捉本体感知、执行器动力学、接触力，也不捕捉执行动作的物理后果，因此自身无法指定特定机器人应该做什么。其视觉分布也与机器人观测不同，后者更常涉及遮挡、不寻常的视角、运动模糊和重复的物体实例。日益自动化的标注流水线增加了进一步的风险，因为生成的标签、指代表达和规划可能是幻觉的、模糊的或物理上无效的，需要在使用前进行验证。因此，通用数据最好被视为关于感知、语义和推理的广泛先验，而更机器人对齐的层必须将其锚定于物理执行。

七、具身基础模型中的数据应用（Data Applications in Embodied Foundation Models）

7.1 概述

前述各节介绍了具身数据的采集范式和主要形式。我们现在从数据构建转向数据应用，考察不同类型的数据如何被用于训练具身基础模型。我们首先总结代表性模型架构所采用的数据配方和动作表示。然后讨论三个主要模型系列，即具身大脑模型、视觉-语言-动作模型（VLA）和世界动作模型（WAM），重点关注每个系列如何利用带和不带机器人动作标签的数据。这一视角突出了不同数据类型在支持具身理解、控制和动力学建模方面的不同角色。

7.2 数据组成与动作表示

7.2.1 具身基础模型的数据配方

如表7所总结的，具身基础模型的数据配方正在从单一来源的机器人演示向日益异构的混合方向发展。这种演变可以在同一模型系列的连续世代中清楚地观察到。例如，π系列从 π0 [21] 中的真实机器人数据，扩展到 π0.5 [150] 中的真实机器人和通用数据，并进一步在 π0.7 [151] 中融入了自我中心数据。类似地，LingbotVA [196] 结合了真实机器人、UMI和仿真数据，而 LingbotVLA 2.0 [426] 将其配方扩展到数据金字塔的全部五个层级。

尽管异构预训练的趋势日益增长，但具身基础模型的最优数据配方仍然是一个开放问题。主要或完全基于机器人数据预训练的模型，如 LingbotVLA [376] 和 DreamZero [397]，也可以取得强劲的性能，目前的证据并不能确定纳入更多数据来源本身就是更优的。尽管如此，我们认为不同数据类型可以提供互补的能力：通用数据可以支持广泛的视觉、语义和推理能力；自我中心和UMI数据可以扩展场景、物体、视角和人类行为的覆盖；仿真数据可以通过可控和可扩展的交互生成来增强特定技能。

第二个趋势是预训练规模的快速增长。早期模型如 OpenVLA [174] 和 VideoVLA [311] 主要在来自 Open X-Embodiments 生态系统的机器人演示语料库上进行预训练，而 GR-2 [41] 代表了在相对有限的机器人和自我中心数据混合上进行联合训练的早期尝试。到2026年，报告的规模已大幅增长。Qwen-RobotManip [412] 构建了约38,100小时的多源语料库，包括约11.4K小时的开源机器人数据和从1,933小时自我中心视频中合成的24,808小时机器人兼容轨迹。Xiaomi-Robotics-1 [340] 进一步报告了在超过100,000小时的真实世界UMI轨迹上进行预训练，随后是约10,000小时的跨本体后训练数据，包括超过7,200小时的内部机器人轨迹和超过1,000小时的指令标注UMI数据。尽管由于模态、处理、过滤和训练阶段的差异，这些数量不能直接比较，但它们共同说明了具身预训练从传统机器人数据集向包含数万甚至数十万小时交互数据的语料库的演进。

第三个密切相关的趋势是自我中心人类数据日益增长的重要性。如表7所示，自我中心数据已被纳入越来越多模型的异构预训练配方中，包括 GR-2 [41]、GR00T N1 [20]、GR-3 [42]、Motus [18]、π0.7 [151]、Qwen-VLA [352]、Qwen-RobotManip [412] 和 LingbotVA 2.0 [426]。其他研究更进一步，在预训练期间将自我中心数据作为主要或唯一来源使用，包括 EgoVLA [391]、Being-H0 [237]、H-RDT [19]、VITRA [199]、UniDex [420] 和 HumanScale [244]。HumanScale 使用多达5,000小时的精选自我中心视频进行受控预训练，而 EgoScale [443] 将动作标注的自我中心预训练扩展到20,854小时，并报告了从1,000到20,000小时子集的一致改进。总而言之，这些研究表明自我中心数据正在成为不仅仅是辅助来源：其可扩展性和对人-物交互的丰富覆盖使其成为通用网络数据和本体特定机器人轨迹之间日益重要的预训练基底。

除了这些主要趋势之外，最近的工作也开始重新考虑严格的数据质量要求。早期的训练流水线主要保留成功且经过精心筛选的演示，而 π0.7 [151] 表明，当与足够清晰的提示配对时，较低质量的轨迹仍可提供有用的监督。这一观察仍然是初步的，但表明了从激进的数据过滤向更明确地以轨迹质量和意图为条件的可能转变。

7.2.2 机器人基础模型中的动作空间表示

机器人基础模型日益整合来自异构本体的动作轨迹，但这些动作在不同数据集之间并不直接可比。差异不仅来自本体特定的控制维度和执行器语义，还来自用于表达末端执行器运动的坐标系和几何约定。因此，现有方法在两个互补层面解决动作空间异构性：跨本体结构对齐（确定不同控制变量如何映射到共享动作接口）和几何对齐（确定空间动作表示所用的参考坐标系）。以下讨论回顾了这两个维度上的代表性策略，并考察其对多本体预训练和迁移的影响。

跨本体动作空间表示。现有具身基础模型通过三种主要策略来协调异构机器人动作空间：本体特定投影、固定维度零填充动作接口和语义动作槽。这些策略在动作空间异构性被解决的层级上有所不同。第一种保留本体特定的动作接口，仅在共享模型表示内进行对齐；第二种标准化动作向量维度，但不强制一致的物理语义；第三种将异构机器人动作显式组织为一组语义定义的控制维度。

（1）本体特定投影。这种策略在保留每个机器人原始动作维度和控制语义的同时，使用本体特定的投影器、适配器或动作头，将异构的状态-动作表示映射到和映射出共享的策略主干。因此，它实现了表示层面的共享而无需替换机器人特定的控制接口，如 GR00T N1 [20]、Octo [339] 和 SmolVLA [316] 所采用。

（2）固定维度零填充动作接口。这种策略在各本体之间预留一个公共的动作向量维度。具有较低维度动作空间的机器人用零填充未使用的维度，通常同时使用有效性掩码将非活跃维度从学习目标中排除。它为联合训练提供了统一的张量接口，但不要求不同机器人的对应维度共享相同的物理语义 [21, 352, 393]。

（3）语义动作槽。这种策略为共享动作向量中的预定义维度或块分配固定的物理含义，使得对应条目在各本体之间保留一致的控制语义，而不可用的组件被掩码或零填充。Qwen-RobotManip [412] 提供了一个代表性的实现，定义了一个80维的规范状态-动作向量，由两个29维的手臂块和22个保留维度组成。每个手臂块分配7维给手臂关节、9维给末端执行器位姿、1维给平行夹爪、12维给灵巧手关节。不同本体仅填充相关子集，非活跃字段用零填充并使用逐维度二值掩码从流匹配目标中排除。相关的语义槽设计被 RDT-1B [225]、Being-H0.5 [238]、Green-VLA [7]、UniDex [420]、JoyAI-RA 0.1 [428]、Wall-OSS-0.5 [406] 和 LingbotVLA 2.0 [377] 所采用。与形状级填充相比，这种表述通过统一动作维度和物理语义提供了更强的跨本体对齐。

几何动作表示。除了维度和语义对齐之外，更好的跨数据集对齐还可能需要考虑用于表示末端执行器动作的坐标系，因为等效运动在不同几何约定下可能获得不同的数值。现有方法大致可分为三类。

（1）以机器人为中心的表示。这种策略在世界或机器人基座坐标系中表达末端执行器位姿或运动命令，为传统机器人控制器提供直接接口。然而，由此产生的表示可能仍然与本体特定的基座位姿、安装配置和工作空间约定耦合，如 Open X-Embodiment [64] 所示。

（2）以相机为中心的表示。这种策略将动作转换到相机坐标系，旨在为不同本体和场景中视觉上相似的运动赋予更一致的数值表示。以相机为中心的动作表示被 Qwen-RobotManip [412] 和 OC-VLA [429] 所采用。

（3）以腕部为中心的表示。这种策略在规范化的腕部坐标系中表达指尖位姿、手部关键点或局部手部运动，旨在将局部手部关节运动与全局腕部平移和旋转分离。此类表示被 METIS [101] 和 LDA-1B [241] 所使用。

无论选择哪种坐标系，其实现都应明确规定坐标系原点和坐标轴、坐标系手性、工具中心点、绝对-增量动作模式、旋转参数化和物理单位。然而，现有研究在这些表示之间提供的受控消融实验有限，目前尚不清楚是否有任何坐标约定在跨数据集和跨本体方面持续提供更优的迁移或控制性能。

7.3 具身大脑的应用

具身大脑模型通常指在物理世界理解任务上预训练的视觉-语言模型，用于支持机器人感知和高级决策。与VLA和WAM不同——后者直接强调动作生成或动力学预测——这些模型聚焦于时空感知、物理推理、定位、时序记忆和任务规划。代表性模型，包括 RynnBrain [74]、HY-Embodied [409] 和 Pelican-VL [431]，在下游控制之前或同时增强这些能力。

因此，其训练数据不必总是包含低级机器人动作；关键在于监督是否有助于物理上有意义的表示。通用多模态数据可以支持语义理解、视觉常识 [140]、OCR、记忆和空间推理，而包含动作、状态或运动线索的交互数据可以提供可供性、抓取、轨迹和规划监督。因此，最近的具身大脑模型将通用多模态数据与具身定位数据相结合 [74, 158]。根据可用的监督，我们将这些数据组织为两类：用于具身理解的无动作数据和用于物理锚定的带动作数据。

7.3.1 用于具身理解的无动作数据

用于训练具身大脑的相当一部分数据不包含显式动作标注。这包括通用的图文、视频-文、VQA、OCR、空间和时序问答以及指令遵循数据，以及为描述生成、问答、时序记忆或任务理解而重新标注的自我中心视频。虽然缺乏机器人状态和控制命令，但此类数据为物体识别、语言理解、视觉常识、时空推理、物体功能推断和任务理解提供了必要的监督 [31, 74]。

无动作视频还可以通过时序预测、掩码视频建模或未来帧生成来支持以机器人为中心的视频预训练。这些目标使模型能够在不需要每个片段都有动作标签的情况下学习物体永久性、运动模式、手-物交互、状态转换和粗略的物理动力学。代表性示例包括 GR-1、V-JEPA 2、DreamDojo 以及 Cosmos Predict 等物理AI视频基础模型 [3, 8, 109, 365]。由此产生的视觉-时序表示可以作为具身大脑的主干，或在下游适应期间与规划和动作模块耦合。

尽管如此，仅视频预训练提供的主要是观测性知识而非可执行的知识。它不一定揭示哪个动作导致了转换，也不确定该转换对于特定本体是否可行；仍然需要动作条件化的轨迹、机器人状态、逆动力学监督或策略适应来实现可执行控制。因此，无动作数据的主要角色是支持物理世界理解而非本体特定的动作对齐。通用多模态数据提供广泛的语义和常识先验，而自我中心数据使具身大脑接触到第一人称视角、遮挡、手-物交互、物体状态变化和长时程任务进度 [74, 409]。

7.3.2 用于物理锚定的带动作数据

带动作数据包含显式交互信号或可从中恢复此类信号的演示。它们包括真实机器人轨迹、手持夹爪演示、仿真rollout，以及包含机器人状态、手或夹爪运动、物体状态变化或动作标注的交互视频。对于具身大脑而言，这些信号通常不作为原始控制目标使用，而是转化为更具可迁移性的监督，如可供性位置、抓取位姿、轨迹航点、动作边界、子任务标签和下一步动作标注。RoboBrain 和 ShareRobot 通过将任务规划、物体可供性和末端执行器轨迹作为核心监督信号来体现这种方法 [158]。

此类监督支持三个密切相关的能力。首先，可供性标签识别功能上有意义的交互区域，如把手、按钮、接触面和放置区域。它们可以手动标注或通过分割、手或夹爪跟踪、接触估计和物体状态变化检测来恢复 [158, 431]。其次，跟踪、位姿估计、SLAM和相机运动恢复可以将演示转换为2D或3D轨迹、稀疏航点和接近方向。这些目标比静态可供性提供更丰富的物理信息，同时比本体特定的关节命令更具可迁移性 [158, 432]。第三，演示可以被分割为原子动作、子目标和步骤边界，使具身大脑能够识别任务进度并预测后续动作 [74, 158]。

不同数据源提供互补的动作监督。真实机器人数据提供本体对齐的状态和控制轨迹；手持夹爪数据提供更具可扩展性的类末端执行器运动来源；仿真提供自动可获取的物体状态、接触、轨迹、成功条件和失败标签。总体而言，带动作数据提供了物理理解与可执行行为之间的桥梁。它们不要求具身大脑直接模仿低级控制，而是将感知和推理锚定于可供性、轨迹和任务结构中，这随后可以支持下游的VLA和WAM训练 [269, 409, 432]。

7.4 视觉-语言-动作模型的应用

视觉-语言-动作（VLA）模型通常构建在视觉-语言模型主干之上，并将其多模态理解能力扩展到下游机器人控制。虽然具身VLM主要关注感知、定位、时空推理和高级任务理解，VLA模型进一步强调如何将多模态表示转化为可执行行为。因此，VLA模型不仅被期望能够识别与任务相关的物体、状态和可供性，还要能够规划动作序列、预测低级动作块，并将其行为适应于特定的机器人本体和环境。最近的系统如 OpenVLA [174]、Octo [339] 和 π0.5 [150] 通过将大规模视觉-语言预训练与具身数据相结合来体现这一范式，使通用操作策略能够遵循语言指令、定位任务相关物体，并跨多样化任务、场景和机器人平台生成动作。

VLA模型的面向动作特性涉及两个互补层面的能力。一方面，VLA模型必须理解场景和环境，包括与任务相关的物体定位、物体跟踪、空间关系、物体状态、可供性和时序上下文。这些能力建立在高级视觉-语言理解之上，并提供决定"应该做什么"所需的锚定。另一方面，VLA模型必须将这种锚定的理解转化为本体特定的规划和执行，如动作块生成和对机器人形态及动作空间的适应。这种双重目标导致了对具身训练数据的独特视角：无动作数据主要支持具身理解和物理锚定，而带动作数据直接监督策略学习和动作生成。

7.4.1 带动作数据

带动作数据构成了训练VLA模型的主要监督来源，因为它们显式指定了视觉-语言观测应如何映射到可执行的机器人行为。一种常见策略是将连续的机器人动作离散化为动作token，允许动作以与语言token相同的格式自回归地生成。这种表述使得重用预训练的VLM主干成为可能，并在适应机器人控制时保留从大规模视觉-语言预训练中获得的语义知识 [23, 174]。

然而，离散动作token对于高频、细粒度或灵巧操作可能不够，在这些场景中，连续控制中的小误差可能显著影响执行。为解决这一局限，最近的VLA系统越来越多地采用连续动作头。基于扩散的策略 [20, 225, 364] 将动作生成表述为在连续动作序列上的条件去噪过程，实现了对高维和潜在多模态动作分布的表达性建模。与此同时，基于流匹配的策略 [28, 150, 316] 学习一个连续向量场，将噪声动作样本传输到可执行的动作轨迹，为高频连续控制提供了直接且高效的表述。这些方法表明，带动作数据不仅提供直接的控制监督，还塑造了VLA模型使用的动作表示——从类语言的离散token到表达性的连续动作分布。

除了机器人采集的轨迹之外，带有手部位姿的自我中心人类视频为灵巧VLA学习提供了可扩展的监督来源。一些方法重建人类手部运动，将其重定向到特定的机器人手，并通过手部修复或机器人手渲染进一步缩小视觉本体差距 [192, 280, 310, 384]。其他方法将人类和机器人演示映射到共享的动作或交互空间，如腕部和指尖位姿、MANO参数、3D关键点或实体级手-物表示，从而实现大规模人类数据预训练后轻量级地适应机器人本体 [101, 238, 391, 420, 443]。这些方法拓宽了带动作数据的范围，超越了直接采集的机器人轨迹，并为扩展灵巧策略学习提供了有前景的途径。

7.4.2 无动作数据

从无动作视频中学习动作代理。大规模视频提供了关于物体如何运动和状态如何变化的大量证据，尽管缺乏相应的动作标签。为了将此类数据用于VLA学习，现有方法从时序观测中提取动作代理，无论是作为隐式的潜在表示还是显式的几何结构（如点轨迹和运动场）。这些代理不被假设为可执行的机器人动作。相反，它们编码了可以在视频规模上学习、随后锚定于机器人特定动作空间的视觉转换或交互动力学。

潜在动作是从观测序列中无需显式动作标签学习到的、与动作相关的状态转换的紧凑表示。LAPA [396] 从无标注视频中学习离散的潜在动作，并将其用作VLA预训练的伪动作标签。Moto [54] 将视觉运动表示为潜在运动token，用于自回归的运动先验学习。UniVLA [27] 引入了以任务为中心的潜在动作来抑制与任务无关的视觉动态。Villa-X [52] 进一步用视觉和本体感受的未来预测约束潜在动作，而 CLAP [419] 和 ConLA [69] 使用对比目标将与动作相关的动态与干扰性视觉变化分离。这些方法之所以可扩展，是因为它们避免了显式的手-物标注，但学习的潜在空间仍然需要机器人演示、动作解码器或下游对齐才能在特定本体上变得可执行。

一项互补的工作从视频中显式重建操作的空间或几何表示。虽然这些方法大多数在严格意义上不是VLA模型，但它们展示了此类表示如何桥接视觉观测和机器人控制。VideoDex [309] 将从视频中提取的人类手部运动转移到机器人策略中，而 ViSA-Flow [44] 在用机器人数据适应之前从人类演示中学习视觉运动表示。General Flow [410] 将操作表示为以物体为中心的运动场，而 Track2Act [15] 将预测的点轨迹转换为物体变换和机器人动作。VidBot [45] 和 Actron3D [417] 进一步从人类视频中恢复三维轨迹或可迁移的动作表示。与潜在动作相比，这些几何表示更具可解释性和对机器人控制的可迁移性，但更依赖于可靠的感知和跨本体对齐。

分层和中间监督。利用无动作数据的另一种方式是将其用于学习指导下游动作生成的分层或中间监督。通用视觉-语言数据、人类视频和任务演示可以提供高级语义知识、任务分解、子目标预测和思维链推理，帮助VLA模型在预测如何行动之前决定应该做什么。例如，π0.5 [150] 使用异构数据来改善语义场景理解和高级任务结构建模，而CoT风格的VLA模型 [312, 437, 445, 447] 引入了显式的中间推理，如视觉目标、语言计划或动作级别的思考，以支持长时程操作。此外，无动作或弱标注数据可以提供可供性级别的监督，如预测与任务相关的交互区域、可抓取区域或功能物体部件，作为感知和控制之间空间锚定的桥梁。最近的可供性感知VLA模型 [195, 405] 使用此类中间表示来引导策略关注在何处以及如何交互，从而提高复杂场景中动作生成的鲁棒性。

7.5 世界动作模型的应用

世界动作模型（WAM）建模物理世界的时间演化以及动作对此演化的影响。与强调感知和推理的具身VLM、以及直接将多模态观测映射到可执行行为的VLA模型不同，WAM将世界动力学作为主要学习目标，使得训练好的WAM可以充当学习型仿真器、规划器、策略评估器或合成交互数据的生成器。

这一范式源于基于模型控制中的潜在世界模型，其中 Dreamer 系列 [128, 370] 学习动作条件化的潜在动力学，并在仿真和真实环境中通过想象的rollout来优化策略。生成式视频建模随后将世界建模扩展到开放域视觉数据，如 UniSim [392]、GAIA-1 [143] 和 Genie 系列 [25, 117] 所代表。在机器人领域，最近的系统包括 GR-2 [41]、IRASim [451]、EnerVerse [146]、Genie Envisioner [210]、V-JEPA 2 [8]、WorldVLA [36] 和 Cosmos [269]，将这一范式应用于操作，将动作条件化的未来预测与动作生成和策略评估耦合。

最近的综述沿着互补的轴线组织了这一快速扩展的设计空间：按输出表示，涵盖基于视频、基于占据和基于LiDAR的世界建模和生成 [177]；按能力水平，区分仅预测的模型与充当可控仿真器或自我改进智能体的模型，以及每种模型被期望遵循的物理和数字规律性 [63]。这些组织视角在此处很有用，因为它们明确了一个给定的世界模型角色需要哪些数据：被动预测可以仅从观测中学习，而仿真器式和评估器式的用途额外需要动作条件化和结果标注的交互。

从数据角度来看，WAM训练数据可以根据是否有可用于建模世界转换的动作条件来划分。带动作数据，包括来自数据金字塔上层的真实机器人轨迹、UMI风格演示和仿真rollout，提供可执行的或类动作的信号，指定哪个动作引发了给定的转换。无动作数据，包括来自下层的通用多模态语料库和自我中心或外视角视频，仅支持观测级别的未来预测。在实践中，大多数系统遵循两阶段配方，其中大规模无动作预训练建立通用的动力学先验，动作条件化的后训练将这些先验锚定于交互数据中 [8, 41, 269, 365]。

7.5.1 带动作数据

大多数WAM构建在基于扩散的视频生成模型之上，因此将动作预测表述为连续的生成问题。给定一个真实动作序列，根据扩散计划添加噪声，模型通过类似于视频生成中使用的扩散或流匹配目标来学习恢复干净的动作。在架构上，Genie Envisioner 在其预训练的世界模型主干上附加了一个轻量级的流匹配动作专家 [210, 231]。Motus 采用了混合Transformers（Mixture-of-Transformers）架构，具有独立的视频和动作专家，允许两种模态交互同时保留模态特定的参数 [18, 194]。VideoVLA 在多模态Diffusion Transformer内联合建模视频和动作流 [311]，而 Cosmos Policy 直接将动作编码为潜在帧，并使用原始的视频扩散主干处理它们，而不引入单独的动作架构 [175]。

一个重要的例外是 WorldVLA，它构建在自回归生成模型而非扩散模型之上 [36]。它将视觉观测和连续机器人动作都离散化为token，并通过带有交叉熵损失的自回归下一token预测来联合预测它们。一种相关的设计是压缩预测目标而非主干：在自动驾驶中，Xiaomi OneVL 通过一小部分潜在token来路由推理，这些潜在token通过重建文本思维链和预测未来帧token的辅助解码器进行训练，使得世界动力学在训练期间被吸收到潜在空间中，而推理仍保持为单次并行传递 [234]。从数据角度来看，此类潜在表述很有吸引力，因为未来预测目标可以由原始的未来观测来监督，而不需要额外的动作或推理标注。

因此，WAM中动作标签的使用可以大致概括为两种范式：使用扩散或流匹配目标的连续动作去噪，以及使用自回归目标的离散动作token预测。在两种情况下，动作监督都将模型对未来世界演化的表示与可执行的机器人控制相对齐。

7.5.2 无动作数据

无动作数据建立了WAM的基本世界先验。这一类别包括不包含显式或可恢复动作变量的通用多模态数据和自我中心或外视角视频。相应的监督是仅观测的未来预测，如预测未来帧、视觉潜在量、场景状态或状态变化的语言描述。此类目标教会模型世界通常如何演化，但不揭示哪个动作驱动了给定的转换，因此无动作数据贡献的是广泛的时序和物理先验，而非可执行的动作条件化动力学。

通用视频和多模态数据。网络规模的视频语料库构成了动力学监督的最大来源。UniPi [89] 将决策制定表述为文本条件化的视频生成，UniSim [392] 将异构的 видео和交互数据聚合为真实世界的交互式仿真器，而 Cosmos [269] 在物理AI后训练之前，在网络规模的视频上预训练全模态世界模型。预测不必在像素空间中进行：V-JEPA 2 从超过一百万小时的互联网视频中学习潜在视频预测 [8]。这些数据提供了通用但必不可少的先验，包括物体永久性、场景几何、物理合理性和日常任务的典型时序结构。

自我中心和外视角视频。EPIC-KITCHENS [72]、Ego4D [118] 和 Ego-Exo4D [119] 等自我中心数据集在分布上比通用网络视频更接近机器人观测。它们将模型暴露于第一人称交互、手-物遮挡、视角变化、物体状态转换和长时程任务进度，这些正是部署的操作系统所遇到的观测模式，且难以从其他来源获取。

通过数据金字塔的视角来看，底层的无动作数据提供了可扩展且多样化的观测先验，而更高层逐步添加语义、潜在和本体特定的动作锚定。训练好的世界模型反过来通过生成合成交互数据 [155, 269] 和在策略评估中替代物理环境 [161, 286] 来反馈到金字塔中。统一系统如 Pelican-Unified [432] 和 Cosmos 3 [269] 进一步展示了异构监督——包括视觉、语言、未来生成和动作数据——如何被纳入共享的建模框架中。

八、挑战与未来方向（Challenges and Future Directions）

本节围绕三个问题组织机器人学习数据的未来方向：收集什么、如何收集以及如何使用。首先，"收集什么"涉及在现有数据集中尚未得到充分表示的交互信息形式。特别是，需要失败和恢复轨迹来使模型接触到不成功的行为和纠正动作，而触觉数据则用于表征接触状态、力、材料属性和细粒度的交互动力学——这些无法仅从视觉观测中完全推断。

其次，"如何收集"聚焦于可扩展和自适应的数据采集。未来的采集流水线应减少对昂贵的手动遥操作的依赖，扩展任务和场景覆盖，并将采集努力分配到数据分布中未被充分表示的、不确定的或行为信息丰富的区域。

最后，"如何使用"涉及在模型训练期间整合异构数据源。这包括跨本体对齐动作表示、确定有效数据配方以组合来自数据金字塔不同层级的来源，以及将自我中心人类交互数据迁移到灵巧机器人操作。总之，这些方向将焦点从仅仅增加数据集规模转向改善具身数据的信息覆盖、采集效率和有效利用。

8.1 面向富接触机器人学习的触觉数据

尽管大规模机器人学习数据集快速扩展，但大多数现有数据资源仍然以RGB-D观测、本体感知状态、语言指令和动作轨迹为中心，而触觉感知尚未被系统地纳入为标准模态 [64, 173, 232]。这在当前数据金字塔中留下了一个缺失的接触层：视觉观测可以描述场景几何和物体运动，但它们仅提供关于接触力、滑动、局部变形、摩擦和抓取稳定性的间接证据。虽然最近的机器人数据集如 RoboMIND 2.0 [142] 和 Humanoid Everyday [440] 已开始纳入触觉信号，但触觉感知尚未成为机器人数据采集的通用或标准化组成部分。与RGB-D观测和动作轨迹相比，触觉数据仍然不够普遍，且通常受到传感器特定硬件、不一致的信号格式、有限的任务覆盖以及与长时程操作轨迹较弱的集成所制约。

8.2 失败数据与以恢复为中心的机器人学习

大多数现有机器人学习数据集仍然严重偏向成功的专家演示，而失败、近失败和次优的轨迹经常被丢弃或仅被粗略标注。这种以成功为中心的数据偏差限制了学习策略对真实世界部署中遇到的多样错误状态的暴露。一个主要在成功轨迹上训练的策略可能学会了在标称条件下如何完成任务，但在如何识别即将到来的失败、诊断其原因、或在执行偏离预期轨迹后如何恢复方面几乎没有获得监督。因此，失败数据不应仅仅被视为低质量经验，而应被视为失败意识、因果诊断和恢复行为的重要监督来源。

现有的努力已开始从多个角度探索以失败为中心的数据。一些工作构建了面向失败的数据集或基准，用于失败检测、诊断、解释和纠正推理 [90, 120, 228, 235, 271, 416]。其他研究显式地用失败和恢复轨迹增强训练数据，使策略能够学习超越标称专家演示的纠正行为 [70, 215]。同时，不完美和不成功的演示也被证明包含可复用的轨迹片段，在适当识别和过滤而非简单丢弃后可以有益于策略学习 [367]。

尽管如此，失败数据在规模上仍然有限，且缺乏系统性组织。机器人操作中的失败高度异构，可能源于感知错误、不准确的定位、不当的任务规划、抓取失败、物体滑落、过大的接触力、运动学约束，或长时程执行中的累积误差。二元成功或失败标签不足以表示这种时序和因果结构。未来的数据集应提供更丰富的以失败为中心的标注，包括失败前上下文、失败发生点、失败类别和原因、物体和机器人状态变化、恢复动作以及最终恢复结果。更重要的是，未来的数据采集流水线应系统性地保留和管理机器人执行期间遇到的失败，而非将其视为不可用的轨迹。构建大规模、多样化和结构化的失败-恢复数据集可以使具身智能体不仅模仿成功行为，还能理解、预测和从自身的错误中恢复。

8.3 跨金字塔层的可扩展数据采集

自我中心数据采集正从第一人称RGB视频扩展到多样化的可穿戴传感器。头戴式AR/MR设备可以记录注视、头部姿态、深度和空间上下文，而腕部相机、手部IMU和仪器化手套捕捉手部运动和手-物交互。触觉贴片、力传感器和EMG进一步提供了视觉无法直接观察的接触、抓取力、滑动和肌肉激活信号 [138, 171, 178, 245, 351, 378, 449]。DexUMI 和 RealDexUMI 等可穿戴接口也展示了采集与机器人学习更兼容的灵巧演示的潜力 [383, 384]。

然而，许多此类设备尚未成熟到可以大规模部署。头部和手部跟踪仍然对遮挡、运动模糊、漂移和有限的视场敏感，而手套、触觉传感器和EMG需要仔细的佩戴、校准和同步，且可能干扰自然操作。因此，未来的系统应变得更轻便、无线、模块化和低侵入性，同时支持自动跨设备校准、设备端手-物重建和标准化的传感器元数据。这些发展可以在不牺牲机器人学习所需的详细运动和接触信号的情况下，扩展新兴任务导向自我中心数据集的规模 [157, 205, 443]。

8.4 跨本体状态-动作对齐

随着真实机器人数据集越来越多地聚合来自异构平台的轨迹，仅有一个通用数据格式并不能确保兼容的监督。为促进跨本体聚合，机器人状态和动作通常在笛卡尔末端执行器位姿空间而非形态特定的关节空间中表示，以提供跨平台更可迁移的接口。然而，末端执行器位姿仍然可能相对于机器人基座、相机、局部末端执行器或世界坐标系定义，导致相同的物理运动在不同数据集中对应不同的数值表示 [64]。这种不一致可能在联合训练期间引入冲突的监督，并实质性地影响跨本体迁移和数据缩放行为 [357, 412]。因此，有效的状态-动作对齐需要一致的几何语义，而不仅仅是共享的存储模式。未来的数据集应将坐标约定、校准参数和控制器模式记录为一等元数据。当可靠的变换可用时，动作可以被规范化到共享的参考坐标系中（如相机、末端执行器或世界坐标系），以支持跨本体的一致聚合 [382, 412]。

8.5 面向灵巧手策略学习的自我中心先验

虽然自我中心人类数据为灵巧操作提供了直观的先验来源 [30, 101, 238, 391, 443]，但如何最优地利用此类先验进行机器人策略学习仍然是一个开放问题。人-机差距不仅仅是视觉上的，还是运动学、形态学和物理上的：人类手和机器人手在关节拓扑、自由度、指尖几何、柔顺性、驱动、感知、摩擦和力限制方面存在差异。因此，在几何上看起来合理的重定向运动可能仍然违反机器人特定的约束或无法在真实硬件上产生稳定的接触。本体感知修复 [192, 384] 可以通过用机器人渲染替换人手来缩小视觉差距，但合成的交互通常没有物理基础，可能损害模型学习现实的手-物交互动力学的能力，而这对于灵巧操作至关重要 [383, 411]。

一个有前景的方向是将自我中心数据视为结构化交互先验的来源，而非精确的机器人动作标签。人类视频可以提供关于任务意图、物体可供性、抓取选择、接触序列、工具使用策略和长时程操作结构的可迁移信息，而机器人数据可以将这些先验锚定于本体特定的动作和接触动力学。形态条件化的策略、以接触为中心的表示和不确定性感知的重定向可能进一步帮助将广泛可迁移的交互知识与本体相关的执行细节分离。

8.6 数据配方

如图3所示，具身基础模型的数据配方已逐渐扩展到数据金字塔的不同层级。早期模型主要将真实机器人数据与通用视觉-语言数据相结合，而最近的报告越来越多地构建涉及真实机器人、仿真、自我中心、UMI风格和通用多模态数据的混合。不同模型并非收敛到单一组合，而是根据其训练流水线选择和组合这些数据源的不同子集。特别是，自我中心数据已成为大规模预训练中越来越常见的组成部分，而通用数据继续与本体特定和动作对齐的数据广泛配合使用。这一趋势表明了从依赖单一主导数据源向联合利用数据金字塔多个层级的转变。

然而，最有效的数据组成仍然是一个开放问题。通用、自我中心、仿真、UMI风格和真实机器人数据之间的最优比例尚未确立。现有报告在来源组合、采样比例和分阶段分配策略上存在显著差异。对单个数据集和数据类别的精确、计算匹配的消融实验仍然有限。同一数据源在不同模型架构、动作表示和训练目标下产生的性能增益也表征不足。因此，未来的工作应研究架构感知和阶段相关的数据配方，系统性比较固定、课程化和自适应的混合策略。此类研究可能有助于识别数据金字塔每一层在何时最有用，并为在受限采集和训练预算下分配数据提供更可复现的原则。

九、结论（Conclusion）

本工作提供了具身智能的以数据为中心的综合论述，并定义了一个主要以可扩展性和机器人对齐为组织原则的具身数据金字塔，以质量、多样性、可复用性和物理保真度作为互补维度。从顶到底，金字塔包含五个具有不同优势和局限的数据类别。真实机器人数据为可执行行为和物理交互提供了最直接的监督，但成本高昂且难以扩展。UMI风格数据支持便携式真实世界采集，具有显式的末端执行器和夹爪监督，但需要校准、重定向和本体特定的控制。自我中心和外视角数据捕捉了多样化的人类活动、手-物交互和长时程任务结构，但受到人-机本体差距的限制。仿真数据实现了可控和并行的机器人导向经验生成，并具有特权监督，尽管其实用性受到环境覆盖和 sim-to-real 差距的约束。通用多模态数据大规模提供了广泛的语义、感知和推理先验，但在机器人动作、接触和物理结果方面提供的锚定有限。

在此分类法的基础上，我们从数据配方的角度分析了最近的具身基础模型。我们总结了动作表示及其对数据兼容性和跨本体迁移的影响，并考察了具身大脑模型、视觉-语言-动作模型和世界动作模型如何利用异构数据来分别支持推理与规划、可执行控制和预测性世界建模。最后，我们识别了数据质量评估、多模态和动作空间标准化、跨本体复用、人-机和 sim-to-real 迁移、可扩展的真实世界采集、失败和恢复数据，以及异构数据混合的设计与评估方面的开放挑战。我们希望本文既为理解具身数据景观提供了连贯的基础，也为针对不同能力、本体和部署设置选择、采集、组合和评估数据提供了前瞻性的路线图。