E244｜端到端 vs 上下分层：机器人路径之争，正在转向？

硅谷101 · 嘉宾：韩正（Sudo科技 CEO）、苏昊（联合创始人） · 小宇宙原链接

Sudo科技联合创始人韩正，聊透三件事：机器人3D数据从哪来？Sim2Real能不能走通？全球机器人竞赛谁会跑出来？韩正预测，2026年下半年上下分层会回到主流。

开场：Sudo科技是谁

联合创始人苏昊是ImageNet核心作者、3D数据集ShapeNet创始人。Sudo科技敢在完全未训练的新环境中做demo。

泓君
Hello 大家好，欢迎收听硅谷101，我是陈茜（泓君）。 之前我反复在播客里有跟机器人的公司讨论一个问题，就是说我们能不能通过一个demo就判断一家机器人公司技术上的好坏。那很多人告诉我的答案是不能。原因在于大家并不知道在这个demo之前，这些机器人公司有没有针对特定的环境去做适配。哪怕我们说只是在展出的前几天，它到现场去采集一下环境数据可能都会对demo有很大的帮助。所以如果对环境做了更多的优化，机器人demo的效果就会更好。 而今天我们要聊的这家公司叫做Sudo科技，他就敢在一个完全没有训练的新环境中去做demo，他的效果到底怎么样。 说到Sudo，在机器人的这条路上其实有一个绕不开的名字，就是他的联合创始人苏昊。教机器人看懂世界的ImageNet有他。主流的机器人仿真器大多都和他的团队有渊源。连硅谷最火的那几家机器人公司，比如说像Physical Intelligence，谷歌的DeepMind的机器人团队，也都有他的学生和师弟师妹。可以说他们是这条路上开山一派。 而他自己现在最想啃的也是机器人最难的那块骨头，就是让机器人动手。让机器人在开放世界动手有多难，他的合伙人韩正是这么说的。
韩正
机器人如果是要对于物体去做操作的难度，要高两到三个数量级。
泓君
另外，我今年在跟很多机器人领域的人聊天的时候，大家一直认为在现在的机器人的训练方法和实现路径上是没有收敛的。那韩正他并没有站在硅谷主流的那一排路径上，他认为在今年下半年，所有人都会重新回到他们现在正在走的这条路上。
韩正
我们有一个暴论，就是可能从今年的下半年开始，上下分层的这种结构会重新再回到主流里面，而且在之后大家选择的方案推到商业化里面去可能是最终的一个方法。

Sudo的定位与技术路线

大脑和本体都做，当前聚焦二指甲爪操作能力。90%的物体操作不需要灵巧手。

泓君
这期节目我们就来聊透三件事：机器人的3D数据从哪里来？Sim2Real这条路到底能不能走通？以及这场全球机器人竞赛，各路头部玩家，他们的技术路径是什么？谁能真正的跑出来？ 今天跟我在一起的嘉宾是Sudo科技的联合创始人与CEO韩正。哈喽韩总你好。
韩正
你好，很高兴来到硅谷101的节目。
泓君
我看你们现在做机器人其实也是很火，我看见新闻的消息是说投资人基本上很难抢到你们的投资份额。因为现在其实做机器人的公司也非常的多。我初步把它分成两层，一层是造大脑的机器人，以硅谷的派为代表的。其实这类的公司在硅谷我觉得还蛮多的，包括最近拿融资的估值140亿美元的Skild AI。还有一块呢，就是说造身体，做人形跟做夹爪的机器人公司。这类机器人公司像马斯克的Optimus、宇树。包括Figure它算在哪一边，我们待会可以再详细的聊一聊啊。 但是我觉得大家在初步看到一个机器人公司跟看到它的demo的时候，其实很难分清楚这个机器人公司到底是做什么的。对，所以开始的时候，您要不要简单给您的公司做一个定位，看看我们Sudo在做机器人的哪个环节。
韩正
好的，我们其实是大脑和本体都做。其实也是现在很多的机器人公司都在强调的一点，就是要全栈，要做整个的系统。但整个的团队的背景其实是在将近十年以前，就开始往机器人以机器学习的方法来驱动机器人方向来做探索和尝试的时候，主要都是以软件为主。直到2022年团队开始以商业化的方式来做准备的时候，我们才开始正式的考虑自己来做硬件的本体。当然也是因为很多年积累下来的经验，就是如果自己不碰本体的话，也很难把大脑的能力展现，甚至说能够去做一些迭代和探索。 所以简单来讲的话，我们是做全栈。
泓君
如果我们要类比一家硅谷的、大家现在已经比较熟悉名字的这些机器人公司，你觉得你们做的这些环节跟哪一家机器人公司是更接近的，还是说市场上没有对标者？
韩正
我觉得硅谷的机器人公司不管是Tesla、Optimus还是上一代的波士顿动力还是Figure，其实都是本体加模型，不过这些公司在模型测的能力相对来说，比Figure Intelligence包括Skild的话，要稍微没有那么专注。
泓君
所以你们现在核心最专注的方向是什么？是模型的大脑层，还是说操作的层面？比如说我们刚刚提到的Optimus，他是一个大家最经典的人形机器人。他除了要做手部的这种操作，他也要去做运动。我看见你们的那个demo，那个机器人他其实是带一个棍轮的机器人，你的核心的控制是集中在手部环节的。 我并不是说一定说做人型就比做手部好，因为我们之前的播客有讨论过，灵巧手是机器人可能是最后一公里更最难的一部分。我想简单的还是来做一个定位上的区隔。
韩正
对，我觉得做机器人的操作模型做基础模型，特别是做操作模型的大部分团队，其实都会类似于像我们以及Physical Intelligence这样的公司，专注在像夹爪、二指甲爪，他对于物体的操作和能力先把他拉到一定能力的边界。在有一些比如说像二指甲爪不太好处理的情况之下，再看能不能用多指手或者是灵巧手来做处理。 但人形机器人公司为了让大家感觉到像人，我觉得这一波的风潮其实是在大概2022年左右Optimus出来的时候，大家对于Elon Musk给大家描绘的类人形机器人重新回到大家公众的视野，其实起到了非常强的引导的作用。但在我们看的话，机器人里边要做的物体操作任务可能90%不一定需要灵巧手，剩下的可能5-10%的任务才真正需要多指手。 另外，是不是双足和轮式现在机器人的下肢还不是特别的稳定。一会我们可能也会提到像宇树机器人和波士顿动力、Figure、Optimus，现在对于环境的认知和感知其实还不是特别强，以及它经常会出现跌倒的情况。所以我们在现在这个阶段可能还是会把操作的任务和下肢灵巧的程度相对来说会解耦一下。但未来我们感觉可能还是会回归到同一条线上来。
泓君
未来的同一条线你指的是通用机器人。
韩正
对，通用的机器人的构形，它应该是一个带有足式或者是我们自己内部认为的话，可能是一个轮足式的构形。它在平地的时候的话可能会有稳定和高效的一个方式移动。但是在比如说遇到一些特殊的地形的时候还是会像人或者是其他动物一样有双足或者是四足之间的某一种形态在移动。

从ImageNet到ShapeNet

ImageNet有1400万张图片，ShapeNet只有几十万3D模型。3D数据要标注几何、材质、摩擦、动力学约束。

泓君
对，因为我觉得我们要看每一家公司做机器人的思路有什么不一样，可能要从它的整个的历史说起。我知道你的联合创始人苏昊他是李飞飞的学生，李飞飞当年成名之战是ImageNet。他给上百万的图片做人工标注，然后让机器第一次看这个足够多的世界。苏昊他其实就是ImageNet的核心作者之一，后来他把这个思路搬到了3D。我觉得这个跟今天的Sudo整个的历史也是一脉相承的。 所以你可不可以简单跟大家介绍一下ImageNet。他当年给机器看海量的带标签的图片，这个当时在整个机器人业界它是一个什么样的意义？为什么它会成为整个AI爆发的一个导火索？
韩正
苏昊求学期，其实一共有两个PhD。其中有将近四年的时间的话，他是在李飞飞老师当时在普林斯顿后来在斯坦福的实验室里面。核心的项目就像您讲的，实际上是做ImageNet的大的项目。他曾经跟我讲过，菲菲对于整个ImageNet的推动和架构的话是非常有远见的。但核心总结来讲，就是一个能够覆盖世界上典型物体的2D的图片和它的文字对，用一个结构化的方法去描述这样的一个基础思想。比如说我们在桌子上的杯子，我们需要一系列的典型的图片去描述世界上几乎所有的杯子。 这个思想在2012、13年，他的第二个PhD的导师，就是Leonidas Guibas在斯坦福的实验室里面，他开始的时候也把这一套思想带到了3D里面来。所以那个时候开始组建3D的大数据集ShapeNet。当然后续还有一些非常关键的工作成果，比如说像激光雷达以点云为表示的表征方法，这个PointNet都是他的核心工作。 但回到3D大数据集ShapeNet的话，其实他最大的挑战就在于相比于ImageNet，你可以把互联网上面几乎所有的图片和它下面的文字描述和标题梳理清楚，并且找到当时用亚马逊最早最早的话，我记得应该是在普林斯顿的时候，他们用Mechanical Turk以众包的方法的话去做标注。但是3D的模型其实是非常非常欠缺的。这其中是一个最大的挑战。
泓君
我理解李飞飞当年他的ImageNet为什么这么火，是因为本质上他当时也是在用一个堆大规模的数据，然后让机器识别。其实有点像今天的Scaling Law，只是在那个时间大家还没有意识到我可以用一个规模化的数据库去解决机器识别的问题。他自己做了一个大规模的数据库。我觉得在当年那个年代还是非常有创意有想法有远见的思想。 把这个思路搬到3D领域。就是我能想象比如说你2D，你刚刚提到我们要在一个图片里面去识别这个杯子，它就是一个杯子，我只需要一个标记。3D的话就比如说我们今天在录音的这个办公室，杯子放在一个桌子上，然后桌子上还有手机录音笔。首先是它的标注维度会大很多，但是你的文字标注它怎么去解决这种空间的物理关系，甚至是力的反馈。我觉得这个事情听起来要难很多。
韩正
对，这里边的工作其实要复杂很多，所以愿意去做3D的大数据集的人，相比于2D以及语言的大数据集的话要少很多很多。 3D其实在大数据集里边的话，我们有一系列的工作。第一个核心工作其实是苏昊在Stanford第二个PhD期间的核心工作之一就是ShapeNet。ShapeNet的话应该是有几十万个3D模型，但实际上还远远没有达到像ImageNet能够覆盖世界上所有物体的所有的模型。
泓君
ImageNet当时做到那么大规模，他们收集了多少数据？
韩正
最后应该是有1400万张图片和文字的对。
泓君
ShapeNet现在做到了几十万的3D数据。
韩正
对，但是当时的一个约束就是你要找到开源的可以用的3D模型。但这些3D模型的话，理论上它应该跟ImageNet的类似，它还是需要一个上千万级的物体级合，能够把它整个的3D的集合，包括刚才您提到还有很多比如像材质、摩擦、弹性的形变的参数，包括我们现在做的椅子，它其实轮子和椅子本身其实还是有很多的动力学的约束。 所以这个3D数据的ShapeNet它只有基础的几何和基础的表面贴图。我们大概能够预估到它的这些物体的材质，因为比如说杯子大概的话就是玻璃、塑料、金属，它会有一个范围。但再往下一步的话，同样的一个物体的话，它可能会分不一样的Parts和组件。比如说我们拿到一个饮料瓶子，会分成瓶身、瓶盖、环绕的Label和标签。有的时候的话，你甚至需要标注瓶身上面哪个是它的瓶底。这些其实是对于Parts的标注，但标到PartNet的时候就只有几万的物体了。 我们从之前的ShapeNet再去做一定的筛选，去做标注，因为这里面要涉及到大量的人工。这时候就会对数据的标注的程度有非常高的一些要求。 但再进一步，比如说对于这个瓶子，它的瓶盖究竟是往左拧还是往右拧。它拧动之后的话，能不能够把它给拧下来。这个就叫动力学约束的一些标注。这个数据集叫PartNet-Mobility。现在为止，如果我没有记错的话，还是开源里面最大的带Parts、带动力学约束的开源数据集。但这里面只有不到两千个物体带有标注的。这其实对于几个方面，包括像机器人的合成数据的训练生成，像现在我们讲的视频生成里面带有连续的空间物理一致性的话，其实都有很大的约束。
泓君
ShapeNet是从什么时候开始做的？
韩正
应该是在2013、14年的时候。
泓君
对，我们说之前让机器去做3D数据的收集，可能标注是一个很费时间成本的事情。那现在因为我们在考虑大模型跟机器人的训练方法吗？比如说我让它现在用ShapeNet的这一套开源数据集去训练，跟直接对着视频网站呈上万的开放世界的视频去训练，因为它能拿到的数据是更多的，然后视频里面也是有一致性的这些动作的。它的核心区别点是什么呢？

为什么不能用视频直接训练

2D视频的3D信息有但不全、不准。机器人操作要求亚毫米级精度，只有3D建模能做到。

韩正
我觉得这个核心区别在我们看来就是2D的图片和视频里面三维的信息有，但是不太全，也不太准。这其实也是在Sora当时在训练的时候，管线里面其中之一就是用渲染引擎从3D的模型里面渲染大量的2D的视频和图片，然后再反向来去做训练数据集。但由于互联网上的数据当中太杂，它的3D的信息其实并不是特别的精准。 如果你拿它用来做比如说像自动驾驶导航，它可能对精度的要求没有太高，比如说你只要求有一个大概10公分左右的精度是够用的。但是对机器人的操作10厘米的误差是绝对不能忍受的。像我们面前的这个轮机，我们要把线缆插到对应的孔位里面去，那么它的要求必须是在亚毫米级。 所以这个只有3D建模的3D的数据集可以做到，尤其是在机器人的操控方向。
泓君
对。
韩正
机器人不管是用哪一种方法，但是对于我们做仿真Sim2Real的这条路，我们是要求机器人对于物理环境里面的物体和环境对于集合有比较精准的理解。那么它对于集合的精度的理解就得到毫米级甚至亚毫米级才可以。
泓君
所以现在ShapeNet它是一个开源的数据集，还是说它有分层，有一些开源，有一些闭源？
韩正
ShapeNet和PartNet-Mobility都是开源的数据集。但我们自己内部用的肯定不是这些开源的数据集。
泓君
您觉得苏昊在做整个ShapeNet以后，现在开始跟你们一起做Sudo机器人，在这个中间沉淀下来的最核心的资产是什么？
韩正
这我觉得是一个特别好的问题。走Sim2Real这条路，它有点像波音造飞机，很难讲，其中是发动机更重要，还是说航电系统更重要，还是说材料更重要，它是一个比较复杂的系统工程。所以怎么能够把搭这个复杂系统工程的团队给建起来？我觉得这是我们团队的最核心的积累。 我们团队里边的小伙伴们在苏昊的实验室以及我们成立公司之后，核心的这几个大组的负责人其实都在一起工作过七八年的时间。
泓君
了解。人还有过去做这些事情的经验跟方法论，这个是无可避免的优势。
韩正
对，对，对，我觉得是的。包括数据，比如说我们在做仿真器，其实大家能够想象到的市面上的核心的机器人的仿真器，不管是Isaac、MuJoCo，甚至说新创的一些公司，都跟我们有千丝万缕的联系。

Sim2Real是什么

从仿真到现实——让机器人在虚拟世界训练，再搬到真机。团队核心成员在一起七八年，主流仿真器都跟他们有渊源。

泓君
哦，对。我先跟听众解释一下Sim2Real，这会是我们后面会反复提到的一个名词。那他的意思之一就是说，从仿真到现实。他是让机器人先在电脑的这个模拟的虚拟世界中训练，然后练成之后，把学到的这件事情搬到真机上，让它在物理世界里面也能用。那大家注意，重点其实不是说仿真这两个字，而是搬的这个动作，能不能直接把它搬到现实世界还灵不灵？他是这条技术路径上最大的一个难题。 那因为英伟达的Isaac仿真平台就是这个路径最大的推手之一。那与他相对的另一条路径呢，就是跳过仿真，直接用真实世界采集的数据来训练，比如说让人去手把手的教，然后机器照着学。 所以我听下来，你们算是这个领域开山之派的感觉。
韩正
我觉得一定程度上讲肯定是这样的。比如说像具身智能这个英文的提法，应该是2019年苏昊跟很多北美的教授联合提出的一个有测评标准的新的研究领域。像具身智能的这个翻译也是他的当时一起合作过的某一位教授回到国内去之后，找他一起讨论和商量定的这样的一个描述。 但用机器学习的方法去做机器人控制的，我觉得他是跟Sergey（Levine）他们应该是同一波，在那个时候的话做了探索的。非常早。

上一波机器人为什么失败了

2012-2016年要素不全。2022年DALL·E出现后，2D升维到3D变得可行，在仿真里重建世界理论上可以做到了。

泓君
所以你们公司成立是在什么时间？
韩正
Sudo公司正式成立其实是在去年上半年，但我们以一个商业化和半商业化开始组织是在2022年下半年开始的。
泓君
我记得苏昊其实是非常早就出来拿他这个ShapeNet整个的一套思想。他有在做跟机器人跟3D数据集的一系列的探索，那个是在什么时间？
韩正
应该是2012、13年。
泓君
他做这个决定是因为在ImageNet出来之后，他自己有一个想法是要做一个类似于神经网络的架构。但当时跟他配合的人没有那么多。在ImageNet的挑战赛，AlexNet的横空出世之后，对他的冲击我觉得是非常大的。他觉得自己错过了，可能是错过了一个非常重要的一个机会。所以他自己就在思考下一站大的领域是什么，所以他想把大数据集加神经网络的方法带到物理世界里面来。所以在他拿到第一个PhD之后，在Leonidas Guibas教授组开始搭建新的3D Learning团队。
泓君
对，好早。这个中间我觉得不管是机器人，还是我们说现在的AI，它的技术已经经过了特别多轮的迭代了。比如说Physical Intelligence就是一家。刚刚在录音前，我们还有一段时间讨论过机器人界的历史嘛。为什么在前几年，包括在12、13年那段时间，甚至更早的一段时间，大家投资机器人都是不赚钱，甚至是一个失败的投资项目。而且那个时候其实硅谷有非常多好的机器人项目，像什么Covariant。
韩正
我觉得这是一个非常好的一个问题。我们其实也在创业出去受到了上一波大家对这个问题的影响吧。从12、13年开始到15、16年，当时应该是我们叫Android之父Andy Rubin入Google之后，它负责了Google的X这个项目。当时应该收购了非常多家的机器人的公司。最知名的可能就是波士顿动力。后来又转手过很多次，包括给软银。现在主要的控股股东可能是现代。但也有像您刚才提到的像Wavemaker、Intrinsic，现在还在Google里面。Android Robotics它的硬件部门已经被关闭掉了。 但当时那波可能大家还是想用机器学习的方法往前去推进，但当时的要素我觉得可能还不是特别全。 在2022年我和苏昊开始讨论他有这个想法去做机器人的底层操作模型的公司的时候，我们当时讨论最多的一点是什么原因能够促使大家觉得现在的机遇跟大概七八年以前明显的不同。 当时我们得出的核心原因之一就是DALL·E的出现。文生图。对，文生图的OpenAI的早期的模型。它的核心就在于它让我们意识到3D的ShapeNet和PartNet，它只有几十万的模型，但是图片实际上是有比如像ImageNet、COCO这些，它实际上是有上千万的。它可以描述整个世界上的几乎所有的物体。那么有没有一种方法能够把2D升维到3D来，实际上是有机会的。那么从一个朴素的想法来讲，在仿真器里面，如果是要做一个仿真大模型要重建整个世界的物体和环境的话，理论上是开始可行的。

仿真器的反直觉设计

不需要高画质——在一张GPU上开百万个并行环境，分辨率极低但物理法则尽可能接近。

泓君
我们刚一直在提，你们在走Sim2Real的路线，你的Sim2Real的底层，应该是一个我理解现在可以说是世界模型或者是3D的大模型。
韩正
我觉得一定程度上的是对的。其实仿真在我们推动Sim2Real开始应该是在18、19年开始的时候，相比于之前的所谓的高保真仿真，比如说像飞行器和汽车制造里面，我们要做流体力学仿真。以前的机器人的时候，你要做机械包括力学的仿真。但当时的环境是我们只需要在一个大型的机器上面当中开一个环境，让它跟真实的机器或者是飞行器也好，车也好，机器人也好的话，尽可能的接近。 但新的机器人的仿真器的它的设计思路都不太一样。它并不需要我们在一个大型的机器或者是一个大型机群里面无限去逼近一个真实的环境，反而是用不一样的思路。我们需要在比如说一张GPU上面的话，怎么能够开出成百上千甚至上百万个并行的环境。但我们的要求是不需要让它看起来非常的真实。比如说它的分辨率，真的你要去看这个仿真器里面在做训练的时候，它的分辨率其实非常非常低。但是它要求物理的一致性当中的话尽可能接近，但并不需要无限的接近。它一定是要在真实和效率之间做大量的取舍的设计。
泓君
所以你们选择了在这个仿真器里面更多的遵循整个世界的底层的物理法则，牺牲观赏性跟分辨率。
韩正
对，我们把经典牛顿力学包括物理仿真里面的很多人类总结这么多的公式都带入到仿真器里面来。但同时我们又给它大量的开放世界3D的物体环境任务的数据，让机器人在里面做强化学习。
泓君
对，所以你们现在Sim2Real的这条路线包括仿真器的设计，我理解它所有的环境搭建都是为机器人服务的。机器人对一件事情的理解，你们可能是不局限于我要去拧一个矿泉水的瓶盖，而是说我想让机器人做所有的它能看见的现实世界中的环境它都能操作，我的理解是对的吗？
韩正
对，简单来讲，我们想把人类和整个生物对于环境的理解交互物体的操作，几百万年的进化的过程放在仿真器里面来，让机器人再经历完整的进化的过程。
泓君
数据从哪里来？
韩正
有几个方面。第一就是我们刚才提到的物体，比如说我们怎么能够建一个跟ImageNet一样的ShapeNet，怎么能够把世界上典型的物体都能够用3D的表征在仿真器里面去做呈现。
泓君
我理解之前ShapeNet的那一部分已经开源了，你们现在在做一个自己的ShapeNet？
韩正
对，或者讲就是给机器人用的一个更加完整的高效的3D物体的数据。
泓君
对，然后你们这一部分是现采的，现在大概有多少数据可以公开？
韩正
这个我们暂时没有办法正式对外透露。但相比于ShapeNet的议题，开源的我们叫结构化数据集和非结构化数据集。比如像ImageNet、ShapeNet的都是结构化数据集，我们指的是说它是分类别，每个类别里面的子类都有对应的标签。 还有一些是非结构化数据集，比如3D里面其实也有非常大的数据集，有一个叫Paul Allen做的Allen Institute，他自己在主推的Objaverse前面是有上千万的数据集。他其中之一的方法就是把GitHub上面所有的带有3D的文件的项目里面，所有的文件都挖出来，但那是一个非结构化的数据集。里面可能大量的都是比如像游戏里面出现的人物的骨架、武器。但您可以认为这些3D的文件大量的重复的对于机器人做物体操作的话其实用处不一定很大。 所以我们自己要建物体的带结构化的数据集是非常关键的。但它的挑战就在于说有很多物体是没有3D文件的。当然2D到3D的生成实际上是非常有效的一个手段。现在迭代这么多年在过去取得突飞猛进的进展，但现在还有一些是需要人工做建模标注和参与的。
泓君
你怎么评价你们公司的这一部分数据的质量呢？就比如说普通、非常好，这可能是几个不同的等级。你觉得现在在机器人的训练中是用极高质量的数据更关键，还是说我需要用更大规模的数据，但是这个数据的质量可能没有那么高，你怎么看这两者之间的权衡？
韩正
对，我觉得这是一个特别好的问题，我们也没有标准答案。永远是在质量和规模之间要取得平衡，但规模是一定要达到一定程度的。我就有一个朴素的判断，就是你要把世界上的典型的物体，它们之间的组合的环境和要去做的操作任务都有一个结构化的一个描述，你不能只去列举其中的一种形态，说我在找类似的100个和1000个、1万个就能够累积到一个结构化的程度。 这几乎在机器学习的历史上，不管是说2D的视觉，还是像自然语言，还是说自动驾驶里面，其实都没有出现过。所以3D理解结构化的数据也是类似的。在仿真器里面，我们要搭建的结构化的数据是非常关键的。但我们也清晰地知道，不需要无限制的准，比如说当一个饮料瓶子，它的材质的具体描述，包括它的表面标签上面文字的信息、它的图片，需不需要100%的还原，其实是不需要的。但究竟怎么取得这样的一个平衡的话，像是每家可能都有不一样的理解。
泓君
OK，所以你们的数据集算是一个什么样的质量？
韩正
我们对于结构化的理解的话，应该是在所有的团队里面可能做的最好的。但另外一点，我们也知道结构化的下面，我们还应该去补奶血数据。所以它有没有搭完呢？肯定还没有。比如说我们瓶子要怎么去拧，这些对于动力学约束，其实还是整个行业里面最欠缺的数据。

Sim2Real跳不过去

遥操作、动捕、第一人称视频都无法保证开放世界泛化性。只有Sim2Real能做冷启动。

泓君
然后我们刚刚讲了Sim2Real，你们的这个仿真器跟大脑的这一部分。我们说Sim2Real，后面的Real就是怎么把电脑模拟的世界放到现实的世界中。因为传统大家来说，机器人界有几派争议，一个就是Sim2Real的这一派，还有一个就是用Real-world data的这一派。至于Sim2Real的这一派，就会认为我把simulation里面的东西放到现实世界中，它的效果可能没有那么好。 你们其实也有机器人的本体，然后也已经开始操作了。可不可以讲一下你们的执行效果以及你看到的gap。
韩正
我觉得Sim2Real相比于主要以真机数据或者真世界数据采集，包括像遥操作也要操作机器人，包括穿全身动捕服、人去做物理的采集，不管是穿全身动捕服还是说我穿全身动捕服。第三种，比如说现在大家经常在讲的所谓的第一人称视角的数据，我以第一人称视角去拍摄一些视频。 但这些方法相比Sim2Real而言，操作起来都会简单一些。但它很难保证某一类操作任务开放世界的泛化性。这个指的是什么呢？就是基础模型一般的描述是你给它一个任意物体，不管是说在预训练里还是后训练里都没有出现过的，它能够以一个非常高的成功率就能够去完成这个任务。 假如说是以这个维度而言的话，我们觉得Sim2Real是跳不过去的。因为真机操作动补的方法、第一人称视角的方法，我们之前也稍微的提到一点，就是这类的视频和图片，它的几何的理解和精度可能是不太够的。所以我们在仿真里面，核心就是要重建这些物体和环境的3D的关键的信息。但是如果规模不够，这其实是很难体现出Sim2Real的优势和能力的。
泓君
多大算一个规模？

Sudo R1的demo有多猛

连续60分钟、100多个未见过物体、240次抓放，98%零样本成功率。学术会议上近1000人现场随机测试。

韩正
这是一个很好的问题。我觉得直到我们四月份其实放过一个结果，就是我们叫Sudo R1。Sudo R1实际上是我们去年11月份和12月份一个内部的一个结果。在我们看来，这可能是整个的机器人里面，尝试用Sim2Real路线里面能够做到Zero-shot的开放世界某一类任务，能够把Sim2Real Gap当中的话给填平的第一次。
泓君
好，那我们接下来一起来看一下四月份的demo。 这个视频就是我们展示了连续一个小时，我们可能试了100多个物体，操作了200多次。但这些物体其实都是在我们的训练数据里没有出现过的。比如说物体失败之后，我们也没有补后训练的数据。所以它是一个对于物体通用的抓取第一次可以做到零样本的高成功率的结果。我们会变换很多的光照环境和物体，到一个小时结束的时候，我们一共做了200多次的物体抓放的操作。
泓君
240次抓放操作。
韩正
对，单次对于这个物体做抓放的成功率是将近98%，但是如果它第一次失败之后，这个机器人还会用一个闭环控制的方法迅速地去调整它的策略，就可以做到100%。 在这个结果发布之后，整个的研究社区里面就一派的声音说，我们肯定也是精心控制变量，包括这些物体和环境，是不是我们在训练里面没有见过，大家对这个事情是有质疑的。
泓君
所以你们有控制变量？跟在训练集里见过吗？
韩正
没有，其实完全没有。
泓君
对，我跟大家先简单解释一下，因为大家可能看不到这个视频。你们第一次demo的画面是一个机器人站在一个操作台前，再去抓不同的物体。然后这个物体包括像饮料的瓶子，还有小零食，每一种的物体在我看来它的形态，包括这个瓶子它可能是一个椭圆型的，也有可能是一个锥形的，这可能对机器人的手，它就要求它去抓不同的部位，它才能把它抓成，对的，还是很不一样的。 然后这个视频的时长是60分钟，你们是连续拍摄对吗？
韩正
对，是连续拍摄。
泓君
连续拍摄没有剪辑，上面显示一共是240次抓取。所以大家有质疑是说你们可能是看过这些数据，但其实是没有。
韩正
是的，对，所以我们当时就决定说要在公众的面前给大家做一次展示。所以在6月初的时候的话，我们首先在威尔纳举行的一块的大会上，我们就首先把这个机械臂第一次带到了研究者的面前。大概我们统计了一下在几天的会议里面，可能有将近一千人左右来到我们的站台前面，用他们自己各种各样随机的物体去做测试，比如说参会的证件，比如像手机、耳机、小玩偶来做测试。 昨天我们其实也刚刚从CoRL的会场回来，我们也是搭建了一个站台，然后让整个学术界和工业界当时以为我们这个视频可能是处理过的。大家还是在一个非常随机的环境之下去做测试。这在以前类似这种的学术会议上是从来没有人能够做到这样的展示。原因之一是，它几乎没有给你时间去做准备。比如说，之前像Big AI她会在学术会议开始之前，在旁边租一个Airbnb，把自己的机器人放在那边去收集大量的数据，可能要提前一个月进行。做好处理之后，重复去展示，比如做咖啡的任务，已经是非常正确的体质。
泓君
所以它是有针对单个场景去做适配跟练习的？
韩正
它是肯定要的。
泓君
你们没有？
韩正
我们是不需要的。只不过这两者的区别之一就在于我们实际上更关注对于物体的基础操作。比如说这种短的基础操作的高层功能，是Zero-shot就是一次性抓取成功的单个动作。
泓君
我理解它做的是连续动作，因为做咖啡是一个连续动作。
韩正
对，它就相当于说要把连续动作让人去遥控这个机器人，至少要出现过很多次。如果是它换一个咖啡机，或者是同样的咖啡机换一个环境的话，它的成功率肯定会往下掉不少。
泓君
那这时候怎么做呢？包括绝大多数的机器人模型公司都还要去再补充一定的数据去做拟合。
泓君
对，做单个一次性抓取的任务，跟做一个像甚至我们说很多灵巧手公司它要做一个长达21步的这种长程任务，就是复杂动作的拆解，每一步都需要连续，你觉得这两者之间哪个更难？
韩正
我觉得如果是真正做机器人的操作社区的
本访谈稿由 AI 自动转写并整理，部分专有名词可能有小误差。
播客原音频：小宇宙 E244 · 整理日期：2026-07-17