Michelle
Michelle
@michellelsun · 翻译
2026-06-09 · 56.3K Views · 358 Likes
查看原推

前沿机器人的瓶颈不是算力,不是标注,也不是模型本身

而是数据采集。语言模型可以轻松地在互联网文本上扩展,但机器人需要物理轨迹、电机扭矩和触觉力——这些数据无法简单爬取,每一个 token 都必须付出努力去获取。

七种机器人数据类型

以下是对当前塑造行业的七种数据类型的拆解,每种都代表着采集成本与动作标签纯度之间的权衡:

1 真实遥操作Real Teleoperation

代表项目:AgiBot World、DROID。由人类引导硬件采集,随人力投入线性扩展。

2 低成本采集Low-cost Capture

代表项目:Mobile ALOHA、UMI 手持式。降低采集成本的同时保留真实物理特性,但在将人手动作映射到机器人关节时,会引入具身映射问题(embodiment mapping problem)。

3 车队 / 部署数据Fleet / Deployment Data

代表项目:Tesla Optimus、Figure。来自已经在现场工作的机器人产生的轨迹。Tesla 押注其汽车车队基础设施可以迁移到 Optimus。它能产生强大的、真实的边缘案例(edge cases),但需要规模化部署才能获得。

4 仿真Simulation

代表项目:NVIDIA Isaac Sim、Genesis。虽然提供近乎无限的规模,但 sim-to-real 的差距仍然难以建模接触密集的动力学,如滑动、扭转、摩擦。

5 世界模型合成数据World-Model Synthetic

代表项目:NVIDIA Cosmos 3。NVIDIA 刚刚发布了 Cosmos 3,它原生输出动作轨迹(action trajectories),而不仅是视频像素。如果世界模型能准确地原生模拟物理定律,将大幅减少对手动遥操作数据的需求。

6 第一人称视频Egocentric Video

代表项目:Ego4D、Meta Project Aria。通过头戴设备采集的第一人称人类视频。比遥操作更具可扩展性,且更接近机器人自身的视角。但仍不携带任何机器人动作信号。

7 互联网视频Internet Video

来源:YouTube、TikTok。最大规模、最低成本,基本上免费。能捕获最广泛的物体、任务和物理场景,但零动作标签,且(大多数)为第三人称视角。

采集数据只是第一步。
下一个伟大的执行挑战是:设计一套连贯的训练方案(training recipe),将这些异构数据源融合进一个统一的模型。
Robotics 数据采集 Teleoperation Simulation World Model Training Recipe