开场
主持人：当我们在谈scale的时候，其实我们在机器人这个领域，往往是谈多个不同角度的scale——它包括任务的scale、数据的scale、模型size的scale、计算规模的scale。
知轻重，知缓急，知进退，知取舍。如果我们拿到具身智能领域呢，我觉得好像也能勉强对应上。比如说"知轻重"，它其实就是力度和触觉的这种感知。触觉的信息把它去除掉的话，动作成功率也会明显下降，它可能会从90%就掉到20%以内的程度。因为人也不会说做一件事情要把所有未来的图片过一遍，而是说这种潜意识里面，你是知道你做这样的事情，它前因后果会是什么样的。
大家好，欢迎收听脑放电波。过去一年里，灵巧手已经成为具身智能领域最炙手可热的话题。25年的WAIC上，灵巧手厂商就比24年多了一倍多。今年2月的央视春晚，多家机器人公司同台亮相，其中银河通用的机器人甚至在现场玩起了核桃，而那正是来自Sharpa的灵巧手完成的。在之前和REX的那期节目里，我们就提到过一定要找机会跟Sharpa好好聊一聊灵巧手。
那么本期节目，我们有幸邀请到了来自Sharpa的研究副总裁朱雪舟，以及来自NVIDIA的机器人解决方案架构师Joanna。我们从Sharpa近期的灵巧手Demo讲起，探讨了灵巧手的必要性和硬件路线选择，也和Joanna一起聊了聊NVIDIA Newton物理引擎和Cosmos带来的合成数据与虚拟世界仿真，是如何帮助具身智能解决数据这个最大瓶颈的。灵巧手的硬件路线上，究竟是直驱方案更好，还是特斯拉选择的绳驱方案更符合仿生学和第一性原理？具身智能的Scaling Law什么时候才能实现？世界模型和VLA模型，哪一个才是具身智能时代真正的最佳范式？希望大家听完这期节目可以一窥具身智能和灵巧手领域的最新发展。欢迎收听本期节目。
Joanna：大家好，我是Joanna，现在是在NVIDIA做机器人的解决方案架构师。我主要的工作内容是和我们的产品团队一起合作开发NVIDIA面向机器人行业的解决方案，同时也会帮助我们的客户和合作伙伴充分利用NVIDIA的加速计算技术。
朱雪舟：我是朱雪舟，来自Sharpa，在Sharpa这边负责触觉传感、触觉感知和触觉相关的一些算法。在Sharpa之前呢，我是在3D感知的行业，从事一些电路和芯片设计、半导体的工作。我的求学经历是之前在清华大学的工程物理系就读了本科和博士。
一、从Sharpa的灵巧手Demo说起
主持人：那我们要不优先从Sharpa最近展示出来的一些Demo开始聊起吧。整个Sharpa的Demo开始刷屏，大概是从今年1月的CES又开始了。我们是第一次看到了，在无保护的前提下——就是没有说离你很远的前提下，离观众很近——有一个机器人的灵巧手，他可以去把扑克牌一张一张地翻出来，也可以把纸折成风车，也可以打乒乓球。Sharpa自己的一个机器人叫NOA，跟人等高的一个机器人，他可以完成这些工作。
之后就是春晚，我们可以看到，应该是银河通用，就是沈腾和玛丽演的那个微电影对吧？那个机器人他一直单手在那盘核桃，机器人本体是银河通用提供的，但是盘核桃的手是Sharpa提供的。一直到GTC前后，其实我看到你们的视频那时候放出来几个视频，比如说他在削苹果对吧，两只手在协作，一只手会去转动那个苹果，然后另外一只手有一个小刀子，然后会撞网球。但是我觉得最惊艳的那个Demo，我觉得跟GTC大会还挺配合的——机器人直接把一个显卡装到了一个电脑的机箱里面。
朱雪舟：首先，像Sharpa灵巧手Demo的这些动作，应该都属于高难度的操作动作。我们可以有一个基本的分类——最基础的一类操作动作，我们可以认为它是把一个物体从一个点搬移到另一个点，就是改变这个物体的XYZ这样的位置，就比如说抓起一个物体摆放到货架上，或者摆放到另一个位置，这个可能是属于一些基础类的操作。
那进阶一些的，就涉及到要把物体A和B之间发生一些关联、发生一些配合。比如像插USB这种，它就涉及到你要精确地对位，要把两个独立的物体组装成一个整体。或者像发牌，那是把一张牌从一堆牌里面把它抽出来，而且是准确的一张。这些就属于进阶难度的一类操作。
那再进阶的，就涉及到一些物体的塑形，需要通过操作去改变一些物体的形态。就比如像折风车，一开始是一张平的纸，它通过动作改变它的拓扑，把它最后变成了一个纸风车这样的形态。所以叠衣服也是属于第三个级别，它把一个衣服物理上叠起来。
主持人：叠衣服其实也是改变了物体的形态，就是说它也是有一些难度的。
朱雪舟：对。那像削苹果可能就更难，因为它要把苹果皮和苹果分离开了，而且这个物体也是柔性的、柔软的。大体我们会这样一步步地去分类这些动作难度。第一类可能有一些夹爪就能实现，把它从A点夹到B点。
主持人：我们之前跟一家做环境清扫的具身智能公司聊，他们捡垃圾的那只夹爪，其实就不需要太多的单独的模型来处理。它其实给一个可能统一的一个力，它只要能把这个垃圾夹起来就可以了，它不用担心这个垃圾会受损，或者判断它的材质等等。但是当你涉及到一个精细的操作的时候，比如说刚才提到的两个物体之间发生关系的时候，比如说把显卡插到主板上，它对力的要求和精细度的要求就又上了一个台阶了。然后最后那个削苹果，其实很多人类都不一定能很好地削苹果，这个确实是相对更难的，而且不同的苹果表面的光滑度、手感可能都不一样。
朱雪舟：这里有一个反直觉的地方，就是通常我们讲人工智能、机器人领域，有一些对于人来说简单的事情，对于机器反而是难的，然后对于人难的一些事情，比如下围棋这些有确定的规则，对机器反而是简单的。灵巧操作是一个典型的这种情况——对于人来说，好像很多事情是生来就会、到一定年纪就会，但对于机器人来说是非常难的。原因就是人或者是生物、动物，它在漫长的进化过程中，它有点像是DNA里面携带了一些预训练的模型，就是这种对于力学打交道、维持身体和物体的平衡，其实在进化过程中预训练过的。但对于机器人来说，就得完全从零做起——收集数据，把模型搞对，然后预训练，要走一条相对漫长的路，它最后才能具备这些对人来说上手就会的一些任务。
主持人：刚才提到的这几个Demo，还可以再补充几点。第一个是它在部署到实际场景之后，工作的成功率和鲁棒性。有很多观众去跟它互动，基本上很多任务它的成功率都是比较高的。
朱雪舟：你提到鲁棒性是说，这个机器人比如说它在数扑克牌数到一半，有人干扰它，如果干扰不是特别大，它能找补回来，是吗？
主持人：对。还有比如它在折风车的时候，零件可能放在不同的位置，或者是它在中间某一步操作的时候，人会去进行像您刚才提到的干扰，那它都可以去完成后续的工作。
朱雪舟：第二点比较惊人的，就是它展示的很多工作都是我们叫长程任务。比较简单的可能它拿一个东西然后放到一个地方，整体这就属于一个单步操作、比较短的任务。
主持人：对，或者说我们叫原子操作，这种能力。但是我们看到的，像Sharpa在很多Demo里展示出来的能力，都是需要很多个非常复杂的步骤串联起来，最终还能展现出比较高的一个成功率。
朱雪舟：说到这个成功率，我们当时开玩笑叫"机器人公司打假"——最简单的就是做一个视频的Demo，因为你可以失败100次，但只要成功一次，你把它录下来。第二难的可能就是在展会里面，隔着老远拉上很多警戒线。更强一点的就是大家围着看，周围甚至有的时候会碰到它一下，在这样的环境里它还能够反复地成功，那可能就是它的成功率、鲁棒性都更上了一个台阶。像我们内部调试展会的这样的动作，也是需要它做到90%以上甚至更好的一些成功率，然后才会放到展会上去演示。
我们也会有一些自己的实验，就是说比如把触觉的信息把它去除掉的话，动作的成功率也会明显下降，它可能会从90%就掉到20%以内的程度。
二、为什么灵巧手突然成为焦点
主持人：消费者接触比较多的，其实是whole body control的一些机器人应用，对吧？具体来说主要就是跳舞。我其实比较想要知道，具身智能行业什么样的一些需求的发展，大家需要开始用到灵巧手了？为什么大家现在开始看灵巧手、灵巧操作这部分呢？
朱雪舟：首先一个很重要的，就是以Sharpa为例，它是22个自由度。那我们往往在处理一个普通的人形机器人，如果不加手的话，那它可能全身的自由度整体在10到30个之间吧。以宇数为例，G1它是23个自由度。也就是说，手的自由度其实已经接近一个完整的机器人的自由度了，所以从这个训练的难度上来讲，它们可能是在一个层级上的，甚至会更难一些。
Joanna：宇数它不同的版本可能对应的自由度也不太一样。假如我们要考虑一个全手的自由度的话，假如带上双手的操作，它的自由度是比较大的。那它在我们仿真里，像去做一些reinforcement learning这种强化学习的任务，那它的整体自由度上去了的话，那它探索空间会非常大。
朱雪舟：如果是做一些偏自动化属性的这样的动作的话，那可能夹爪是够用的。有点像就是把货取下来，然后放到一个柜台上，那这样相对简洁的、有点像刚刚讲的基础动作的话，可能夹爪是够用的。但一旦需要这个机器人它真的承担好那个岗位的一个角色，就是它真的能够处理好那个场景的话，其实还是需要手有这种通用性的。就比方你假想它一不小心碰到了一个东西，这个场景就可能是夹爪不能handle的，它可能就要换一个手势去调整一下那个瓶子的方位，再把它重新摆放起来。就是你真的要完成好一个场景的职责的话，其实盘一下那个场景要做的一系列的事情，它基本上都会有一些会超出夹爪的这个范畴。
主持人：夹爪还有一个反直觉的事情，就是夹爪它自由度比较少，它实际上完成某些特定动作比如说拿起一个杯子，它可能只有某一两个姿势是可以拿起来的。就导致它在训练过程中，它其实反而更难找到那个对的拿取方式。因为之前我们在之前的节目里也聊过类似的话题，也就是说如果说你为了省事，我们搞一个自由度少一点的夹爪，可能你在整个模型训练走到中后期，你会发现你还得从头来过，因为很多场景它不适配，或者是有一些看似简单的场景，对于一个夹爪来讲难度又很高，它会经常失败。这个时候可能你就会想说，那我是不是应该从一开始就应该把这个自由度尽可能接近一个人手？
朱雪舟：是的。为人设计的各种环境、各种工具，不一定所有都是夹爪搞定的。就比方你想拿一个吸尘器去启动起来对吧，你首先要有东西去握持住那个手柄，然后你还要另外的手指去抠动那个扳机，包括电动工具很多也是这样的。再比方说你想拿刀去切一个东西，那夹爪夹住那个刀，你会发现这个是一个两点受力，那个刀是不稳定的。
主持人：它其实要求更高，对你要握持，甚至拿一个手指你要用力的时候，要拿一个手指抵住它的刀背。就其实真的当落地的时候，自由度少它会遇到种种的问题。它单做一个单一环节是OK的。
主持人：对我这是偏个题，就是有一些灵巧手应该是四指对不对？就人类这个小指到底有啥用？你们在设计过程中有没有考虑把它放弃？
朱雪舟：我们进行过这方面的一些探讨，但聊到最后，这个还是会有一点偏哲学问题，就是它没有办法科学论证。一方面它是有一些进化的历史，进化它一旦演化出来，比如什么五指四指，它会有一些壁垒。另一个我可能个人的理解，它是跟力学效应有一定的关系的，就是有点像维持一个三维物体的稳定。从力闭合、形式闭合的角度——这是一个力学上面的一些概念——它至少要有四个点的接触，你才能维持一个物体它在空间中六个自由度的稳定，你至少要有四指接触。那再多一个手指，就是总归有一点冗余，或者说有一点功能安全的考虑。
主持人：不是，这是谁提出来说小拇指不需要？这是哪里来的这个理论？
朱雪舟：有很多动画片里，很多机器人就是四指，有卡通人物。有一些灵巧手确实也是四指，有一些是三指，因为能省则省。但肯定是这个想法，但反正我自己体会就是，如果你要盘核桃，还是得五指，因为你需要有两个指头来支撑住其中的一个核桃。所以五指肯定还是有它的道理的。
Joanna：都做到四个手指了，就是说"不差那另外一个了"对。做成跟人一样的，不管这个和谐性或者这种功能性上，因为都会有一些优势。
主持人：我们在讨论灵巧操作这个事情的时候，它其实也不一定非要和硬件本身去绑定的。不一定我们特指的就是一个全自由度的灵巧手，只不过确实它会带来很多好处。在一些工厂的场景，它可能确实不需要特别多自由度的一个末端执行器，但不意味着它不需要一个"大脑"。
工厂自动化的场景可能其实是不需要用灵巧手这么高质量的东西，但是今天我们看到Elon Musk的工厂在推进要用灵巧手去做制造，甚至我们看到它可能已经跳票了半年以上了，对外的宣称一直就是说灵巧手一直没做出来。所以其实我想问一下，那从工厂的这种视角，比如说它是在做一个汽车制造工厂，它为什么一定要用灵巧手这个东西呢？它的必要性是怎么考量的？
朱雪舟：我想可能特斯拉也是想做一个通用性的这样的机器人，然后它找到的第一个落地场景，这个工厂是比较顺的，因为它本身也是一个车企，它有一个现成的这样的应用场景。大家最终目的应该是想做一个通用的机器人，能够胜任各种场景、各种任务。那工厂像是它找到的比较顺滑的第一步的落地。
主持人：我明白了。看来模型能力和算力的提升，能够支撑大约一个三倍自由度的灵巧操作，我们就能够解决人类生活中天然需要处理的一些工具和动作。这个确实是灵巧手存在的意义。
三、灵巧手行业的发展历程
主持人：再往前看看灵巧手、灵巧操作的这个行业，它是经历什么样的一个发展的。因为这次我在准备材料的时候会发现，其实可能18年左右，类似像OpenAI这样的组织，早年最早做强化学习的时候，18年用灵巧手去解魔方。核心它证明就是说强化学习这个方式能够被用来在解魔方这个事情上。所以我们会发现，如果你是去追求一些单点的场景的一些突破的话，可能六七年前其实行业里面就已经有很好的一些案例了。但是为什么这个行业一直到2025年——因为我观察这个行业井喷是在2025年——2025年之前这个行业其实基本上是没有被关注的。整个研究和产业化的痛点它是在哪里？它过去这几年发展是怎么样？
朱雪舟：先从OpenAI这个例子聊一聊，就是去看到它18、19年用Shadow Hand去解魔方的这个工作。我感觉这个工作在当时那个时间点，它的重要性的意义就是说明这种多自由度的灵巧手，它通过学习、通过强化学习的方法，能够去完成这样复杂的任务。单手解魔方其实还是蛮复杂的一个任务。但可能它的工作的一些局限性就是，它有点像一个实验，就是说为了论证这个灵巧手能完成这样的任务，设计的一个实验。然后它比方说在传感上是架了多个摄像头去拍摄，像动捕这样的去拿到一些信息，这个跟真实场景的传感是有出入的，包括有没有去使用触觉去完成这个动作，主要靠这种高精度的视觉动捕去做一个验证吧。
Joanna：我们首先在GPT爆发的时候，发现了一个叫做Scaling Law这么一个东西能够work。那很多机器人行业者就会去思考，这个Scaling Law能不能在机器人行业、在Physical AI这个落地上也有同样的一个规律呢？我们实际上是提供了三种不同的计算平台来去加速具身智能的落地的，我们叫"三台计算机"，分别去解决不同的痛点。
第一个计算机我们叫NVIDIA DGX平台，它主要针对的就是像大模型的训练。第二个计算机我们叫NVIDIA OVX平台，那它主要提供的就是仿真的这样的一个能力。那我们有了第一个计算平台生成的模型之后，我们可以在第二个平台里去做仿真的微调，或者是模型的一个闭环策略的评估。当然我们也可以通过仿真的去生成非常多的合成数据，这个也是能够帮助解决数据问题的一个方法。像OVX仿真的平台，我们也是最新推出了新一代的仿真引擎叫Newton，也是为了专门去解决更加鲁棒、更加高效的这种有GPU加速的仿真的解决方案。
那最后一个计算机，第三台计算机就是NVIDIA Jetson平台，它主要针对的就是端侧部署，加速模型推理的这样的一个计算平台。Jetson Thor这样的一个端侧的芯片，在机器人上我觉得大家现在会有一个共识，就是在Physical AI的落地过程当中，非常难的一个挑战还是数据的问题——怎么样收集到足够的数据去进行模型的训练。现在我们行业也没有一个定论，大家都在用不同的方式，在不同的方向上去进行探索。
主持人：数据这个事情其实我们现在可以看到百花齐放的——灵巧手的数据采集工具，有人直接做手套，有人是做一个小夹子。你们的视角，今天灵巧操作除了数据的问题之外，你觉得还有哪些比较大的痛点？
朱雪舟：就几方面讲吧。先从硬件讲起，现在行业有一个第一代的硬件已经出来，它基本上可以来探索一些落地了。那后面肯定还是会要有一些进一步的演进的，就是有点像一个发展的历程，比如快的话两到三年时间，多一点的话三到五年，有点像摩尔定律一样的这样演进的过程。比方说硬件就是这种肌肉动力的能力，它这种电机减速器的迭代增强，它最后达到或者最后超过人手的这种功率密度，这种肌肉的能力。这是一方面。
主持人：所以你的"第一代"具体是怎么定义的？比如现在市面上会出现的一些手，像Sharpa这类，然后以及一些其他友商们做的这样的手，那整体的它的这种动力系统属于快赶上人类，但还没有达到人类的这个手部力量。
主持人：这里我插一句，咱们现在跟人手相比，它的动力密度还差多少？就比如现在做到了多少，人手大概是多少？
朱雪舟：比如说预估一个指的话，它可能离这个人手——或者说比较强健一些的人手的话——它可能两到三倍这样的一个差距。那就是说现在人的指尖还是要比机器人大两到三倍的。如果大家对捏的话，就极限一些的指尖吧。就比如说人一些极限的，用两个手指做俯卧撑什么的，这样的今天机器人应该少有人能胜任。
主持人：对吧，机器人整不了这个是吧？
朱雪舟：对。当然你说第一波的落地应用场景，它也用不到这么大的力量。第一波落地场景相对轻微的一些操作也就够了。除非它做一些重的搬运啊、体力类的活，那可能这种动力系统要再演进演进。然后包括这种传感方面，像触觉、力觉类的，那可能现在像手部是像我们这个局部的一个覆盖，它逐渐往全覆盖、甚至到最后全身覆盖这样方向去发展。因为你像人体的皮肤，全身都是有这种感觉的，只是各个地方的分辨率、这种性能不一样。人是在指尖的这个分辨率最高、最敏感，然后往指节、手掌它就开始递减的一个趋势。比如到背上的这种触觉分辨率可能只有两个厘米这样的一种分辨能力，但是它覆盖区域是蛮全的。
主持人：是，所以有一个游戏就是在背上写字让你猜，很难猜中，那个字就要写的大一点。分辨率确实是不高。是的，OK，讲完硬件你可以接着讲。
朱雪舟：那就是模型吧。感觉这个模型和数据方面，像Joanna讲的，大家想来追求Scaling Law，然后要有不同的方法去实现它。那像Sharpa这边是准备用一种分层式的，就是有点像分而治之、分层式预训练的方法，去想解决这个问题。我们可能会把数据分几块去看，就是某一些类型的数据，因为它可能适合去预训练某一层，去追求这一层的Scaling Law，看看能不能出现；另外一些特性的数据就去训练其他层。这样的我们是感觉说，这种分而治之的方法可能能够比较高效地去解决一些数据的问题。那它也需要一些时间，比如说在未来的一到两年，像通过仿真合成出来的数据，它可以预训练代表手感的这种舍身反射的那一层；然后再结合一些人类的很多经验，怎么样传递给机器人，那这就涉及到像比如高精度的动捕，像NVIDIA进行EgoScale那样的工作，对人的高精度动捕的这样的数据，它可能适合去预训练我们叫System 1——就是动作规划的这一层。那这样分而治之，有一些数据的积累，然后去预训练，看Scaling Law，看能不能泛化，然后再用真机的数据端到端的去调优这些分层的系统。
Joanna：我还有一个观察，我觉得像我们今天讨论的灵巧操作的任务，那之前包括现在大家其实还在不断探索的运控的这个模型，我发现大家其实走的都是一条类似的、不断走向通用的一条路。那运控举例的话，比如说最近也是NVIDIA出的一个research的工作叫Sonic，它做的就是运控方面这样的一个scale的工作。那我们其实觉得在灵巧操作上，是不是也会走出一条类似的——从单一的任务到多种的任务的学习，然后最后有一个非常好的通用的策略——对这样的一个道路。
主持人：Sonic简单来理解，就是把数据集、计算量和这个网络的规模都提升之后呢，就发现——就是两期节目之前我们讲那个宇数的春晚的动作要讲动捕——它这个模型现在就变成，就是说，你让一个宇数的机器人去动，你今天可以丢段视频给他，他会学。然后你放上那种追踪点很少的那种低端动捕，他也能学着做；高端动捕他也能学着做；甚至就是你纯粹一段文字描述给他，他也能把那个动作给你仿真出来。它其实很像一个身体上的System 1，就是你只需要给他一段动作的意图，他就可以用自己的底层系统完成好这样的动作。
所以大家可以想象，就是这个泛化，它不是一上来说"人能做的事情机器人就能做所有事情了"。Sonic是全身控制上他实现了一定程度的泛化，你给不同的信息他都能把那个东西给你做出来。然后Sharpa做的是那个灵巧操作的泛化，你给不同的信息——文字也可以，事宜的视频也可以——反正把这个意图表达出来，他能把这个事给做了。他是从局部的泛化一点点开始，最终有一天我们追求的是那个全面的泛化，对吧？
朱雪舟：是的，对。当我们在谈scale的时候，其实我们谈的在机器人这个领域，往往是多个不同角度的scale——它包括任务的scale、数据的scale、模型size的scale、计算规模的scale。
四、灵巧手的硬件路线：直驱 vs 绳驱
主持人：那下一部分我们聊一聊，就是做好一个灵巧手，从硬件到整个的模型路线，有一些什么样的一些行业know-how吧。包括我们在这个灵巧手的背后，尤其是以NVIDIA为首，最近我们看到了非常多的、我们觉得是代表一定的方式转变的一些论文和成果，其实也可以跟大家讲一讲。
我们首先聊一聊硬件定义。关于灵巧手的话，其实我觉得可能大家今天在市场上如果去了解灵巧手，可能最常见看到的两个关键词，一个叫自由度——就多少个自由度，一般都会宣称说我的手有多灵活，因为自由度感觉是一个特别好理解的概念。除此之外还会有一个经常聊到的概念，其实是讲手的这种构型或者是驱动原理，对吧？这块要不雪舟给大家简单地科普一下，就是市面上主要的几种主流的灵巧手，它的构型和它的逻辑是什么样的？
朱雪舟：好的。自由度的概念大家应该都比较熟悉对吧，就是相当于有多少个主动可以调节的关节。然后驱动方式大体有直驱和绳驱这两类——直驱就是相当于是驱动的电机我们认为是在手掌内部；绳驱那我们可能把大部分的电机就放在像小臂的位置，通过这个腱绳来拉动相应的手部的关节来活动。那可能是这样的一种分类。
那Sharpa的做法当前是属于直驱的方案，我们相当于把电机、减速器这些都做得尽可能的小，都集成到手部内部。在手部内部就集成了20多个这样的直驱的自由度。那其实这个会带来一些方便，比如说我们手的一些客户，那它所有的东西都在手内部，后面怎么样接这个手臂啊，它就比较灵活，就不是像捆绑上手臂一个整体的更大的一个部件，这样是方便使用。
主持人：绳驱相当于整个小臂都要，它是一整套才可以？
朱雪舟：对，也要占用整个小臂，也要占用在那里布置电机。
主持人：所以听起来绳驱的特点就是它有点更仿生一些，对吧？就我们操纵我们的手，其实就是通过一个类似神经的东西，通过小臂的肌肉在驱动手的。这个强度感觉起来也能放更大的电机。对，就有点像是一些大肌肉，一些要发力的肌肉，它是布置在这个小臂上的。然后一些小肌肉群更像直驱一点，它就布置在手内。那其实从仿生的角度呢，是有可能往后面发展，也是往这种直驱和绳驱相结合的方向去发展，不一定是非黑即白的。
主持人：这是一个能打起来的话题，就是到底是绳驱好还是直驱好。这里我可以扮演一下反方观点，因为雪舟你们是坚定的做直驱嘛。现在有一派人，有一点类似特斯拉的角度，他们就是说Elon坚定的让Optimus的灵巧手要做腱绳驱动。他们认为人手就是这样的，手臂力量强的人一定是小臂粗壮，这是一个点。另外一个点呢，就是它中间不会在手上放特别多的电机，它就是一根绳子放在小臂里，所以你的手里面的成本就很低嘛。然后你的电机放在你的小臂上，空间就很大，你的电机体积要求没有那么高，成本就可以做低一些。这个是腱绳派的观点。但是我要听听雪舟关于这个直驱派的这个观点。
朱雪舟：其实我们也都有综合的考虑、对比方案。其实单纯的从第一性、仿生学的原理来说，全绳驱也不是第一性仿生的——就是真的有不少小肌肉是在这个手内的。如果把它们全部都连到外部，那一是不仿生；另外其实就是构成了一个蛮复杂的系统。特别是它为了又做到自由度之间不那么耦合，它做双绳驱，像构造一个插风运动的这样的结构，那里面有一堆的腱绳占满了其中所有的空间。有任何一根腱绳如果出了问题的话，你想它的维修，要整个把它给破开来，然后要去换里面的一根筋，感觉是比较那个什么的一件事情。
所以真的往后走，我个人观点就是说不是非此即彼——就是真的像仿生的角度，有一些小肌肉就放在手内，这样完成精细的动作，然后你需要力量的时候靠后面大肌肉去驱动。
主持人：直驱毕竟还是在手指里塞了太多的电机，然后你的手也会很重，你们是怎么应对的呢？
朱雪舟：Sharpa可能是第一个把那么多个自由度全部都集成到这个手内的一个产品吧。在之前大家可能都没太敢往这方面去想，那有点像我们第一步就做到这个。那可能重量会略重一些，但其实你也是能够找到路径去做轻量化的。还有一个重要的点就是，我们外形尺寸跟人手是做到一比一的，并没有妥协把手整个放大一圈。这也是我们推导它在功能属性上是需要符合人手的这种外形，那就有点像是逼着自己去反复地迭代优化，把它设计得尽可能的好。那手内部其实是排得非常紧凑、精心设计的一个结构吧。
主持人：也许未来真的是一个类似仿生的这种融合的道路——就是手上也有几个直驱的电机，但是呢可能也会通过这种绳子的方式来做这种大的重量的这种电机跟马达的驱动。
朱雪舟：应该说人进化的这种构型，它蕴含了一些底层的道理在里面。而且人的一个重要的特征就是使用工具，就是可以灵巧操作、使用工具，所以它很多这种结构的优化和传感的优化都是瞄着这个目标去的，它有一些底层的规律在里面。
然后还有另一个原因就是好采数据。这样你跟人是统一构型的话，那其实人就可以帮到他去采集数据。就比如人戴一个触觉手套，或者你对人的这种手部去做高精度的动捕，那这样人就能够在采数据层面真正帮到机器人，利用自己的手感、自己的操作经验去记录下来数据，然后迁移到机器人的模型身上。
主持人：这可能解释了为什么没有做六指，因为可能没有办法采集相关的数据了。
朱雪舟：对，这会是一个问题。
五、仿真与合成数据：解决数据瓶颈
Joanna：刚才大家讨论的，确实不同形态、大家用不同的方案去做的硬件产品，确实也没有一个定论。那比如说NVIDIA在仿真的解决方案上，它就既支持像Sharpa这种全直驱的手的仿真，也支持稍微复杂一些的，像这种绳驱或者是其他有比较复杂的这种并联结构的机械的仿真。
我来讲一讲在仿真里面去做数据采集的好处吧。除了刚才说的整体成本比较低之外，它还有比较重要的好处，就是在仿真里我们是可以比较方便地拿到Ground Truth的。也就是当你搭建了一个仿真场景之后，我们可以得到它非常精确的比如说3D的位置信息、物体的位姿信息、这种精确的segmentation——比如说这块是桌子，这块是物体。然后我们也可以非常方便地去调整机器人的相机的参数，比如说你的真机上多加了一路摄像头，那我们在仿真里是可以非常方便地加一个camera去进行视频数据的捕捉。或者当你的真机做了一些硬件结构的调整，那我们在仿真里也可以以更小的成本去做这样结构的一个代替。
主持人：相当于我过去的数据可能是基于一个原型，但是后面因为我新的这个型号里面加了一个摄像头，我可以把过去的这个模型很轻松地增加一个摄像头来产生新的数据用来训练，是这么理解吗？
Joanna：对，就是你在真实世界里去做改变是比较困难的，标注成本也很高。但是在仿真里的话，它就非常容易scale。这个scale是不同维度的，包括你场景的变化、光线的变化、物体的变化、任务的变化，这些其实在仿真里它的成本会比你在真实世界里去做到非常多场景、非常多任务的数据的收集，是一个更高效的方式。
主持人：那帮助听友理解一下，就是说如果在物理世界里采集这些数据，你需要在一个建好的、有一定光源、一定环境的环境下去录制你整个操作的一个视频，包括一些其他维度的一些数据。但是在这个仿真环境里面，它就像应该是在一个世界模型里面，它可以更容易地去扩展更多的不同的环境、不同的光线，可以更容易地去变换出更多的可能性来。然后这些都会变成一个训练数据喂给我们的这个模型。比如说汽车在用世界模型训练的时候，它就是会用类似的方式，就一条路它有无数种开的可能性，然后有无数种的这个天气的情况跟这个路面的湿滑的程度，那在仿真里面它就可以去把它全部模拟出来，然后让它来训练自动驾驶的这个过程。
Joanna：对，您说的这个例子也非常好。那在汽车的场景里，它用这种合成数据还有一个比较大的帮助，就是在生成我们叫corner case的场景。那你在真实世界里想要去收集这种比如说危险的场景，其实是很困难的，比如真的天气非常恶劣，或者是突然有行人冲出来，那这些是非常难收集的。所以在合成数据这一块，就可以比较高效地解决这个问题。
主持人：理解。既然聊到合成数据，我觉得雪舟也可以讲讲你们在这个合成数据和仿真方面的一些经验吧，一些实践是怎么做的？
朱雪舟：对，相当于我们是去应用NVIDIA提供的这样的好的仿真环境，有效的手段去合成数据来预训练我们的模型。那我们主要用合成数据用途就是训练我们CraftNet中的这个System 0。System 0它相当于是以这种触觉和本体觉的传感作为一个主要的条件，去产生动作。像在用仿真工具，它就可以在这里面设定一些你要完成的任务，比方说去旋转一个球啊，或者去有手感的、柔性的抓取一个物体，或者说拼接一些东西——就比如拼接连接器啊、拼接乐高啊，这些拼接的任务。那在这些仿真环境中呢，你就可以通过强化学习去完成这些任务。那手是怎么样完成这些任务的？它就是通过学习了一些policy，它去利用这种基于传感的反馈调节，最后完成了这些任务。这其实就是把有一些缺失的这种触感的数据，可以通过仿真的方法把它给采样到，然后采样到这些数据就可以去预训练我们的模型。具象来说，它是代表触感的这个System 0的这样的模型，我们是这样
的用法。
主持人：Sharpa的模型其实分为System 0、1、2。System 0是不是可以理解为，它就是负责手部触觉或者是手部操作的这么一个子系统或者是子模型？
朱雪舟：对，可以这么理解。
主持人：所以这个模型，它的仿真和训练是你们完全在虚拟环境中做的，而不是找人真实做素材什么的？
朱雪舟：我们主要的数据来源是在这个仿真虚拟环境当中做的。当然说找人来做素材，你可以认为是一条辅助的途径。那这个就需要比如说戴着触觉手套来做一些素材，那这个一方面是有一些采集的代价，相对高一些；另一个说触觉手套其实今天还不是一项完全成熟的技术，它会有一些noise，一些噪声，然后会有一些retargeting的问题。Retargeting问题就指的它和真实的那只机器手摸到的传感的东西是不一样的，因为手套和那个手上传感其实不一样的，你要去做这方面的映射。所以其实目前看来，仿真的途径我们定为为一个主要的途径，是相对比较好用的。
主持人：能不能简单快速介绍一下，比如说一和二，应该是类似一个快模型一个慢模型的概念对吧？它大概是什么样的？
朱雪舟：我可以先介绍一下定义。比如说System 2，我们定义它为一个语言、意识推理类的模型；System 1是一个基于视觉的，它来控制粗动作轨迹的一个模型；然后System 0是一个代表手感，它用来做接触的这种动态响应的一个模型。
比如说我今天晚上要去做一个番茄炒鸡蛋对吧，它可能先联想到做这样一道菜，它要拆解为哪个步骤——就比如第一步我就要在意识层面要先想到，我要先去冰箱里面去看一下对吧，就是说这个鸡蛋番茄还有没有，这个就是System 2做的工作。那System 2完成这个意识的推理，把一件你想做的整体的事情拆分为一些子任务的时候，这个子任务就会比如给到System 1，这个时候就要介入视觉了——你会看一下这个房间冰箱在哪里，然后引导你走过去，打开冰箱门，然后看到你需要的番茄和鸡蛋在什么位置，这是视觉模型需要完成的。然后它看到在特定位置，就引导你的手伸过去。伸过去之后，一旦接触上这个物体了，比如说你抓到了鸡蛋、抓到了番茄，那其实这个时候你就没有必要视觉上一直盯着那个东西看了。这个时候就像你的触觉本体已经take over了这件事情，你接着就抓着这个东西就走到你接下来下一步要去操作的，比如说厨房的案板上，进行下一步的操作。
主持人：翻译一下就是，System 2是一个语言模型，它让你理解它要做什么——意图分析；System 1是个视觉模型，它大概判断你要拿的物体在什么位置，然后有一个粗略的动作的指引；然后到System 0就是一个很精细的一个触觉去抓取的一个过程。所以这个System 0，它是一个纯触觉模型，还是它仍然有一部分视觉的这个模态在里面？
朱雪舟：它不直接接入这个视觉的模态给到它，因为这样可能就会把它整个速度就降下来了。所以它这个纯触觉，是需要一个快速反馈的。但是呢，它其实是由视觉观察的一些浓缩之后的信息给到它的。
主持人：视觉观察的浓缩之后的信息，就比如说我现在要去大概什么样的方位取这个物体？
朱雪舟：就是我们叫它是一种物理上的意图。比如一部分是在空间上你需要对哪里去进行操作，你需要把物体调整到什么样的姿态，这是一部分意图；可能还有一部分意图是你的力度的控制——我需要这个力度是用力一些还是轻微一些。那其实可能还有一些其他的维度，它是一个压缩之后的、在某一个连续的空间里面的一个隐编码量，这样的信息。视觉压缩之后会给到System 0。
主持人：OK，所以System 0应该是一个比较小的模型？
朱雪舟：对，相对体量比较小，它可以运行推理的比较快。就像人的肢体这种操作里面的微动作，也是响应比较快的。
主持人：明白。那相当于整个触觉的模型现在在NVIDIA的整个这个仿真的系统里面，它也是可以顺利做这种训练的是吗？
朱雪舟：对，相当于在里面练习、采数据，然后预训练，然后再构造一个接口这样。
主持人：所以这个还确实是比较特殊的一个场景。因为通常我们理解视觉模态，其实用仿真和用真实的动捕去捕捉，差距不会特别大的，因为它有个明确的视觉定位，我只要拿起了它或者我做了一个操作。那动捕的数据采集其实也是一个很主流的方式，它在很多机器人公司，他们甚至有专门的这种动捕的工厂。但是如果涉及到灵巧手的触觉的时候，确实是会出现刚才雪舟说的问题，因为触觉本身可能就不是一个很通用的模态——起码在现在不是，对吧？所以它没有很通用的、可以对齐的这种触觉的动捕的设备。我的理解虽然有一些手套，但是它刚才也提到了可能需要有一个retargeting的过程。那是不是在仿真的环境里，这个反而就不是问题了？因为它可以完全仿真你受到的力和，可以对应到这个System 0这个灵巧手实际抓取的那种状态，它反而没有这种中间的一个翻译的过程了？
朱雪舟：是的，这也刚好是这个仿真比较适合用来做这件事情的原因。就像NVIDIA给这个仿真环境起名都是叫Isaac，叫Newton，就是Isaac牛顿对吧，就是力学——这是牛顿像主宰力学的神一样的这样的角色。那这个仿真环境就是用来表达力学的一个环境和工具。那其实它非常擅长去模拟这方面和产生这方面的数据。
那像您刚才提到的这个对人的动捕，其实大部分的这种视频数据、EgoCentric数据，它里面缺失这块接触的数据。但这块数据它其实非常适合用来预训练我们叫System 1，就是视觉的那个部分——就是这块数据的专长是去表达这个从视觉到人会产生的这种粗动作规律的这种分布吧，就我们叫它条件概率分布。其实这块数据就可以提取这个层面的条件概率分布，然后再用仿真器去提取那个接触动力学层面的这个分布，然后再想一个方法把它们端到端的能够连接起来、调优起来。
主持人：对，我觉得这个名字取得还是挺有意思的，Isaac Newton，他没有叫达芬奇，确实可能就是以力学作为它的基础的世界模型的基础理解吧。它不光是看到，它可能是理解这个世界物理的规律。所以Sharpa这一套仿真系统，你们是同时用在1和0两个系统的预训练的对吗？
朱雪舟：你说仿真？
主持人：对。
朱雪舟：仿真的合成数据与预训练System 0为主吧。就是System 1可能也会用到一些，但可能就是对System 1来说是为辅的一种数据形式。System 1就更多的去采集人类的一些操作规律。
Joanna：像刚才Tom解释的也是仿真里很重要的一个应用场景，就是用强化学习来去训练机器人的。像刚才Tom说的是手感，在灵巧手上就是手感；如果放在人形上，大家可以简单地理解为体感。怎么去理解这个事情呢？就是假如我用手在比如说转一个球的过程当中，那它快要滑落或者是它有轻微的变化的时候，我怎么样能够高效快速地去调整我的手部不同的关节，能够让它牢牢的在我的手中以原来的速度旋转。然后体感的话，比如说我们看春晚机器人跳舞，其实我们仔细观察的话，不同的机器人它的动作的细节也是不一样的，可能有的时候我们会看到它某一个动作没有特别站稳，但它可以自己去调节一下。那这种不管是灵巧操作还是说全身控制，它的鲁棒性的来源，更多的是在仿真里面通过强化学习来去训练出来的这样一个非常鲁棒的策略。
六、数据金字塔
主持人：OK，那仿真和数据这块，我最后再聊一个部分。我看你们技术报告里面也讲了一个，就是你们所谓的数据金字塔这个概念嘛，对吧？那我其实想知道就是说，仿真的这些数据它在金字塔当中占什么位置，然后各个金字塔里面不同部位的这些数据，它是怎么去协作的呢？是不是先解释一下什么是数据金字塔？
Joanna：我们说数据金字塔，就是在当下具身智能的这个行业里，怎么样更好地去解决数据这个问题。那从金字塔的顶部开始说，也就是占据量比较小——就是真机数据，它处在金字塔的顶部，它的数量比较少，因为收集成本过于昂贵。那它当然也有好处，因为是真机嘛，那么我们得到的数据Gap就比较小，迁移的成本会小一些。
那处在金字塔中部的就是合成的数据。那这个合成的数据，除了刚才我们提过的仿真这种传统的物理引擎得到的仿真数据，还有一大类就是像我们现在有比较多的生成模型，它可以去生成比如说视频数据，或者是甚至动作数据。像NVIDIA这两方面都有提供对应的解决方案，第一个就是传统的仿真引擎我们介绍了，就是最新推出的Newton；那第二块其实我们可以称它为Neural Simulator，就是它作为一个生成式的模型，它可以去生成视频数据，比如说我们推出的Cosmos系列的世界模型。
那在金字塔底部的话，就是数量更为庞大、更容易获取的互联网资源。那这个获取成本就是比较小的，我们可以直接用爬虫各种自动化的工具就能够获取到，然后用一些自动化的处理的算法，能够把这些数据转化成可以用于机器人学习的数据。
主持人：就是各种各样第一人称或者是第三人称的视频，它都可以作为预训练的一个视频数据集吗？
Joanna：是的，因为具身智能它是一个处理多模态数据的一个任务，那我们提到这个数据就包含着不同种类的数据，比如说视频的数据或者是文本的数据。那像要机器人它要理解这个物理世界、有物理规律，比如说我们常说的这个VLM的模型，输入一段视频以及对应的一个language自然语言，那它这个模型是可以去理解这段视频发生了什么事情等等。
主持人：了解。所以底层的数据其实更多是用来训练VLM或者VLA这样的模型，对吗？还是说世界模型它也需要有这样的基础的训练集来做这个训练？
Joanna：其实底层的数据，我觉得这三个不同层比较大的区别，首先量是很不一样的。在底层它就是我们可以认为是一个海量、并且生成成本也比较低的这样的一个数据。然后中间的话就是它有一定的生成成本，不管是仿真场景的搭建还是去跑这个生成模型，要用prompt去调它的一个生成的结果，那它的获取成本会比我们刚才提到最底层的这个会稍微高一些。那再往上，这个金字塔顶尖的那就是真机，会更少一些。所以从下到上，整体它scale的能力是越来越弱的。
主持人：相当于各层它有一个特定的用途吧，比如说我们用量相对大一些的视频类数据去预训练刚才讲的System 1，就是这个视觉主导的这一层的模型，让它去充分地理解世界的图像的规律、人类操作的规律。那你们System 2的数据从哪来？
朱雪舟：所以System 2——System 2是语言模型，你可以认为语言模型的问题已经被今天的人类解决了。因为大语言模型其实就是一个预训练最终到应用成功的一个典范。
主持人：就是说你们相当于直接用一些开源的大语言模型，做了一些后训练或者fine-tuning？
朱雪舟：对，我们是可以调用一些语言模型的，就是已经pre-trained的语言模型，然后在级联在一起端到端的去调一下。
主持人：明白。所以主要还是System 1和System 0的这个预训练是你们自己在做的？
朱雪舟：对，是的。就像我们提的这个CraftNet，它其实也是包括System 0和1的这样的一个自研的模型。
主持人：明白，System 2是你们不去自研的，就是System 2是你们认为语言模型已经被今天所解决的一个问题。明白。刚刚提到这个System 1，就是用这种video data为主，然后其中第一阶段最有价值的可能是这种ego-centric或者human-centric的这样的data，就是第一人称视角的这样的视频模型是尤其有价值的。那仿真数据我们就是用来train，就是表达这种接触动力学，这个System 0所需要的一些规律，能预训练提取到这层所要的规律。那真机数据，它量相对少，它的信息权相对宝贵一些，所以我们可能主要用于最后把1和0级联在一起的、去调优的这个阶段。用真机的数据——机器人本体实际采到这种数据去对齐它们，把两块的表征给对齐、连接在一起。
朱雪舟：明白。
主持人：你刚才说这个"级联在一起"，这个级联要怎么理解？
朱雪舟：级联就是你可以认为端到端的训练。因为分层了，分层去预训练，你最后还是要连在一起去端到端的去tune，明白去tune，让它们再构成一整个模型，最后联系在一起。
主持人：再补充一点，System 0如果我们产生了一个好用的System 0，其实它也是可以帮助到这个真机数据的——就是说可以遥操作，人来控制这只手。但这只手上是带了一个System 0，它是有一个基础手感在那里的。那人给一个大体粗糙的这个动作意图，那只手能够去完成好这个任务。那这个其实也是能够帮助到这个真机数据采集的。因为今天这个高质量真机数据还是一个痛点，我们也是希望去遥操作级联System 0去解决这个真机数据采集的问题。以及进一步的，它有可能用于异地的遥操作，就是可能异地的这种干活。
主持人：所以你的意思就是说，如果把System 0单独训练之后——因为过往遥操作的问题就是，远在千里之外的那个人他感受不到真实的触觉，所以他完成任务的……
朱雪舟：对，他没有良好的反馈。
主持人：对，他就没有正确的良好的反馈。所以你的意思就是说，其实现在就把这套分离出来，然后System 0单独去根据当下的触觉自己去决定应该怎么做微调。那个千里之外的人只是负责把这个意图表达完就完事了，是这意思吧？
朱雪舟：对，是的。就是比如他这边有一个手势就是抓紧，但那边的那只机器人的手，他会根据一个合适的力度来抓这样的一个物体。就有点像这个人给一些操作意图，一些手势上的比较符合直觉的，那边的手就比较跟手。这是在System 0做得比较好的情况下，它能够实现的一个功能。
主持人：这种场景它对于一些比如说你要去维护一个油田那种大型设备，我感觉特别有效。
朱雪舟：因为是有帮助的，对对对对。因为这种重型的这种能源或者是这种精密设备的行业专家飞来飞去其实挺折腾的，如果以后有这个问题解决的话会挺好。
Joanna：最后补充一下那个关于数据金字塔，就是除了这个量和成本的区别之外，其实它具体到和机器人本体的一个差异化，也是非常不一样的。那从最底层来说，像刚才我们提到的视频数据这种海量的互联网的数据，它很难直接应用到比如说一双灵巧手或者是一个人形机器人上，因为它可能不同的视角啊或者是不同的距离、不同的场景，它都有不同的输入。它更多的是提供一个比较通用的理解的能力，它就是很难能够让机器人去用起来做机器人策略的训练。
那中层我们的合成的数据，它比刚才我们说的这种互联网数据，它的差异就会小很多。因为我们在仿真里去搭建了一个对应的这种数字孪生的一个资产，那它也不是完全能够和真机匹配上的，像我们最开始提到的，它会有一个sim-to-real的gap。但是它和我们刚才提到的金字塔底层的互联网数据，这个gap是大大减小的。到真机的话那可以认为它基本就和真机能保持一致了。那我们希望的是，用金字塔顶端上少量而昂贵的真机的数据，能够帮助我们去弥合、高效地解决sim-to-real gap这个问题。
七、Cosmos世界模型与视频生成
主持人：明白。刚才雪舟在提到这个实际训练的时候，没有提到这个生成的部分，就是像比如说Cosmos世界模型，你们有用它来生成一些数据用作训练吗？
朱雪舟：我们暂时还没有用这一块的方法。
主持人：比如说仿真也算一类的生成的数据，但它有什么区别呢？或者说什么样的训练会更多地用到Cosmos来做呢？
Joanna：我们目前看Cosmos能够帮助我们做数据生成，它有两种不同类型的模型去做这样的事情。第一个是我们叫Cosmos Transfer，它能够把一段输入的视频，搭配上你可以选择性的提供一些其他的有用的信息，比如说深度或者是分割等等信息，然后它生成的就是能够根据你的prompt生成出对应的更加符合真实世界你观察到的这种视频的数据。
举一个比较简单的例子，就是假如我比较快地构建了一个仿真的场景，那可能它的材质啊或者是光线啊等等都没有调到和我的真实世界匹配的特别好。那我就可以把仿真里的一段视频输入给Cosmos Transfer，然后再加上prompt，比如说"请给我一个光线非常强的场景"，或者是说prompt可以是"请把我的背景改为某某颜色或者是某个场景"，那Cosmos Transfer就可以生成出来一个和我的prompt能够相吻合，同时它的视觉效果也和真实世界比较接近的一个视频的数据。
主持人：对，就比如说如果你要训练一个厨房的一个任务，你就可以分别生成早中晚、春夏秋冬的那个阳光，它就不同的角度啊不同的色温晒进来。这样的话机器人第一次真机见到这些东西就不会错误地识别，对。
Joanna：那Transfer比较好的特点就是，你能够给它明确的生成条件，比如说深度的信息或者是分割的信息，那它在生成过程当中就可以非常大程度的减少幻觉，能够保证我在输入的视频这样的一个动作的过程，然后我生成的视频也能够让它follow同样的一个动作。
主持人：刚才提到有两个Cosmos，还有一个是什么？
Joanna：还有一个叫Cosmos Predict，就是假如我给了几帧甚至是一帧的图片，再提供一个prompt，这个模型可以根据你提供的prompt预测它未来会发生的事情。那其实这个就可以帮助我们去生成一些corner case的场景。
主持人：我感觉Cosmos应该在自动驾驶领域会用的更多一些。
Joanna：自动驾驶领域是很重要的一个应用的场景，比如说生成恶劣的天气，或者是用Predict的去生成一些危险的场景，来补充我们这些corner case的数据。因为Predict相当于就可以比如说你在一个路口，它可以Predict不同角度接下来每一辆车不同的驾驶方式，来训练你的这个自动驾驶的模型去应对各种各样不同的场景。
主持人：其实Cosmos系列它还有第三类？
Joanna：对，我们叫Cosmos Reason。那它更多扮演的是一个VLM的角色，它虽然不直接生成视频数据，但它也可以帮助我们在数据处理的过程中提效。比如说它可以去帮助我们做数据的自动打标。举一个例子，就是我有一段机器人操作的数据或者是人类操作的数据，我可以给到Cosmos Reason，然后我的prompt可以是"请问它的这个过程当中做了几步操作"，或者是"我的目标任务是，我最后这个任务有没有成功呢"，那这个Cosmos Reason就可以经过推理告诉我们对应的一个结论。
八、第一人称数据与前沿论文：EgoScale、DreamDojo
主持人：刚才雪舟提到一个观点，关于互联网的视频内容，我想深问一下。就雪舟提到说最有价值的是第一人称数据，我感觉这个好像也是一个挺明确的一个趋势。
朱雪舟：我理解就是，今天的一些视频模型里面的这种backbone或者叫主干网络，它其实没有太好的3D空间的这种转换迁移的能力，它还是更多的是基于一个平面图像的一种理解为主。那你在数据采集的时候是第一人称的时候，这个就是和机器人干活的时候的那个人称视角是对应上的，所以第一人称的视频训练出来是最便于它理解的。如果是第三人称观察一个人去干什么活，可能对于人类来说是可以理解的，因为人类有很好的3D空间的理解的表征能力在这里。但今天的一些视觉的backbone没有这方面很好的3D表征的能力。但也有可能随着世界模型的发展，然后有一些3D数据的训练的发展，那机器人它其实也理解到第一人称和第三人称怎么样转换，那可能那个时候就有更大量的、源源不断的这种第三人称数据它可以也用来消化，但前提是它需要有这种理解力在。
主持人：明白。那在第一人称视角上面，其实最近我们也看到几篇比较著名的论文吧，在最近的行业里面特别受关注的，我也简单给大家讲一讲啊。
第一篇叫做EgoScale，它是NVIDIA的团队出的。中间我看到其实灵巧手也都用的是Sharpa的灵巧手。它核心来讲的一个东西，主要讲的是你可以直接用这个视频的形式去训练一个机器人的基模。在这个基模当中呢，这个第一人称视角——什么叫第一人称视角？有点类似于把摄像头架在你头上——就把人的第一人称视角的视频里面的这个人手，全部都给它用视觉识别的方式把手腕给它识别出来，然后呢把它还原到Sharpa的一个手上去。可以用这样的方式提高这个灵巧手的性能。所以这篇论文是很有意思，就是EgoCentric它代表是第一人称，Scale的意思就是说有一定的Scale用到这个意思。所以我觉得这是最近非常受关注的一篇paper。
我问几个问题啊，这里提到说EgoScale是用了两万小时的数据训练出来的，这个叫GR00T的VLA模型。两万小时它在一个模型训练做一个数据集，它是大还是小？通常是应该多少小时才能有个比较好的效果？
Joanna：我觉得您问的这个问题还挺好的。其实你看它的名字EgoScale，它里面有两个非常关键的信息——一个是Ego，表示那这个工作它研究的就是怎么把EgoCentric这样的一种Data非常高效地用于机器人的训练；第二个关键词就是Scale。如果大家去看这个文章的话就可以看到，它里面很重要的一个部分就是我们在这个工作里发现，实际上它展示出了一定的Scale这样的一个趋势的。在这个工作里，我们用不同数目的数据去进行训练，就发现了一个近似于对数关系的一个Scale的规律。同时它还没有Touch到它的Limitation，就是这个对数的规模现在还没有撞墙，还在继续。就如果数据继续往上堆，比如说堆到二十万个小时，那目前来看它还会沿着对数的这个规律继续提升性能。
主持人：对这个两万多个小时是在EgoScale这个工作里面的第一个预训练的阶段，发现的一个Scaling Law这样的一个规律。那它做了不同的一个对比实验，比如说当我们只用几千个小时的数据，然后中间有不同的数据采样点，最后到用全量的两万多小时的这个人类数据去比较，然后发现从成功率啊或者是模型的Loss上来看，如果你把这个曲线画出来的话，它就是一个接近对数关系的这样的一个规律。那这就很接近于一个Scaling Law了。当然我们数据现在用的是两万多小时，那在这个曲线上来看它其实还没有达到瓶颈，那我们就可以设想假如我们的数据拓展更多，那它可以有更高的一个收敛的效果、更高的成功率。
Joanna：对我们不妨大胆设想一下，如果是20万小时，它可能就会出现一个像类似Transformer时刻了。有可能时间是一个维度，任务的丰富程度它也需要——收集多种多样的任务程度，把那个空间尽量填满，就绘制满，绘制满就可能打通整个这个空间然后形成泛化。
主持人：我对数据集有个建议，因为这种摄像头长在脑门上的视频，其实在一个平台有很多——就是在短视频平台，你会看到很多这个摄像头长在头上的各种，而且手会伸出来跟这个面前的人做各种拉扯，跟物理世界有进行交互。我们有看到非常多这样的数据。如果有一天我们可以用短视频平台里面的这种第一人称视角的视频来做机器人的训练，我觉得某种程度上这也是对于这些视频价值的再次的验证。因为你知道短视频平台同样的剧情可能会有100个人拍100次，但是这个东西如果用来做机器人的训练，搞不好它是一个非常好的数据集，因为它是同一个事情、不同的长度的手、不同位置的摄像头，它反复的在做。我觉得会蛮有意思的。
在这方面还有第二个作品叫DreamDojo，但DreamDojo这个世界模型，它本身的数据集的规模又更大一些。它用了4万多小时的视频训出来这个模型之后，它就把它蒸馏，蒸馏到可以部署到一个机器人上面去。然后它发现这个机器人就可以做连续一分钟的这种长程任务——之前机器人做一分钟的任务是很难的，但是有了这种蒸馏的效果之后，它就是可以做这种长时间的任务了。
就刚才EgoScale更加的是偏向灵巧操作，它就是仅仅是针对这个手部的动作；然后DreamDojo它就更泛化一些，就是机器人除了手之外，你的这种移动的一些动作也可以在这上面去做。这里用到了4万个小时的人类视频数据，那它也是第一人称视角是吗？
Joanna：这都是第一人称，对。
九、世界模型 vs VLA模型
主持人：然后第二个问题就是，刚才的EgoScale它是一个VLA模型，它训练出来的这个叫GR00T；然后DreamDojo它是一个世界模型。那这其实也是现在不管是具身智能、自动驾驶还是整个偏视觉模态的这种模型的两个大的分支吧——一个是世界模型，一个是VLA模型。那两位可不可以介绍一下这两种模型它到底差异在哪里，以及未来会是个怎么样的发展呢？
朱雪舟：比如在我们的认识当中，像CraftNet中的System 1，它应该就是要最终发展为一个世界模型。那有可能我们对世界模型的理解就是说，它是知道这个世界未来状态的这个演变的，而且它知道你做什么样的动作它会发生什么样的演变。就有点它是理解你的操作动作和这个世界演变的这个规律，它合在一起考虑是一个什么样的关系。其实最后它也是这方面的一个latent-based的空间，需要去把它通过数据描绘出来。那么有可能当前的一些世界模型的工作会是一些像素想象图片这样的，就是因为之前关于视频生成或者图片方面的这些工作相对多一些。那有可能在操作机器人的领域，它会是一种更抽象的一种世界模型——它可能是你所需要关注的这些物体、世界的一些物理参数、特性会发生什么样的演变，不一定是像素级别的演变规律。因为人也不会说做一件事情要把所有未来的图片过一遍，而是说这种潜意识里面，你是知道你做这样的事情，它前因后果会是什么样的，你知道这种状态迁移的物理世界的因果律是什么样的。主要是这个需要被学出来——构建一个抽象的然后符合物理的一个世界模型。
主持人：所以世界模型它其实也有语言模态的是吧？
朱雪舟：它更多是一种状态、动作空间这种演变上的，它不一定非要用语言来描述。但它隐含的信息比如是你手中这个物体的位置的变化对吧，就是你做什么样的动作，它的位置和姿态会发生什么样的变化。明白，你去怎么样挤压这个物体，它的形态可能会发生什么样的变化；你要把A物体装配到B物体，就是说它们之间的关系会发生什么样的变化。主要它需要有一些数据上的描述，把这样的状态建模出来，然后让它和动作也发生关联。
主持人：那VLA模型呢？因为刚才提到这个GR00T它是一个VLA的模型，它有什么区别？
朱雪舟：今天可能单纯的VLA模型，就是……当然这方面我讲的不一定就是说完全在描述它的真实。那我简单理解就是，VLA有点像拿一些语言和视频的一些backbone，把它连在一起，也是去灌一些语言模态、灌一些这个视觉模态进去，然后让它比如模仿专家的动作，让它生成一些动作。但它内部不一定有良好的这种世界模型的结构在里面。有点像它里面的某一层可能是基于平面图像来做一些推理和模仿的这样的动作，因为它没有真的完全掌握3D空间或者物理世界演化的那种规律，那种"道"的东西在里面。就是还是需要想到某种方法去通过预训练让它掌握这种底层的一些规律，然后去构建一个——有点像一个更好的VLA，然后一个更好的VLA其实就有点像一个世界模型。
主持人：具世界模型的一个VLA？
朱雪舟：对，今天VLA可能有点形似，但灵魂的层面还没有理解世界。
Joanna：我们现在提到VLA，可能把它的定义有点偏狭窄化了。其实原本VLA的话，V就是Vision，表示它有一路重要的信息来源是你的视觉输入；L的话就是Language，一般就是我会给这个模型同时有一个自然语言的指令，告诉它要去做什么事情；A的话就是Action，表示这个模型它会最终输出动作数据，然后机器人是可以直接执行的。
VLA最早出现的时候，我觉得更多是和我们常提的另一个概念有一点区别，就是VLM。这个VLM是Vision Language Model，它更偏向于视频理解——比如说给一段视频，然后同时给对应的指令，然后它可以根据视频的内容输出一些你的回应，但它不会生成动作数据。不会生成动作数据意味着机器人就没有办法去执行动作，真的帮我们干活。
所以VLA出来之后，很多模型的话它有不同的一些架构。可能最一开始大家都在用VLM作为一个backbone，在这个基础之上再去用很多的数据去训练，让它再加一个action的处理的模块，让它能够生成action的数据。然后像NVIDIA之前发布的GR00T，从1.0到1.5、1.6，包括最近的1.7，其实更多都是这样的一个思路去进行模型的一个更新。
像刚才提到的DreamDojo的话，它的一个比较大的区别就在于——当然这个也是research上的一个探究——就是我们会有这样的思考：是不是机器人要去完成一个动作，它一定要有自然语言的加入、一定要有这方面的推理？会不会更直接的一个方式是，就像我们人一样，当我去拿起一个杯子，我其实脑海里会浮现出我手伸过去以后杯子被我拿起来这样的一个画面？那这个时候像DreamDojo就去探索了一下这个方向，用生成模型来去预测未来帧，然后来帮助我们这个机器人做action的生成，这样的一个探究性的工作。
主持人：这里我有个问题，就是假设世界模型的这个趋势——因为听起来很性感，机器人能够somehow它知道了自己做了一个动作之后的这个后果是什么——当然这个后果它可能一个很明确的方式是它是通过视频生成的方式，就像今天你用Sora、用什么Seedance 2.0一样，你就知道了它会不会发生什么。这个是世界模型里唯一的方法吗？还是说世界模型里也有其他分支？
朱雪舟：我粗浅了解就是说是有不同的实现方式的。就是比如说有单纯去预测世界演化状态的，就是关注之后的状态的这样的世界模型；然后也有我根据状态和动作去预测下一个状态这样的世界模型；以及说我想从现在状态到未来状态，中间动作是什么样的，这样的世界模型。但几条路都万变不离其宗，它大体是想要去学出来状态和动作之间的因果律——就是状态会怎么样发展、你的动作会怎么样影响到世界的状态，之间的因果关系是什么样的。这个东西理解清楚了，那世界模型的内核也可以用来做不同的事情。比如说单纯的预测状态，或者用来推导动作。比如机器人更重要的是用它来推导动作——你想要达到的状态是什么，中间的动作的桥梁是什么，这个是机器人的用法。
Joanna：对，世界模型确实也是一个比较宽泛的概念。比较核心的就是刚才Tom讲的——它有一个当前的状态，有一个动作，对这个状态产生了影响，然后世界模型可能会去预测它会产生的一个影响。那世界模型它就有不同的体现方式，比如说视频生成——它的状态就是当前帧，它的动作可能是比如说你给它的一个prompt，这个prompt可能是自然语言，也可能是我告诉它"你往左边移移"或者"你往前面走一走"。那它的预测的结果可能就是下一帧或者是未来几帧，这个就是视频生成作为世界模型的一个展现的方式。
十、模型性能与端侧部署
主持人：OK，那除了模型的架构之外，我估计大家还有一个比较关心的问题，就是这几个System它们具体跑起来的这个performance是什么样。因为今天具身智能大家在评价一个模型的能力好坏的时候，经常有一个比较常见的指标就是看它的生成的动作是什么样的一些帧率对吧？当然它背后肯定会涉及到一些这种参数量之类的一些trade off。
朱雪舟：对，我们可能对几个不同层的一些推理速度定位。像逻辑推理的这个大脑，它可能在1赫兹左右就是够用的，它主要用于一些任务的分解，然后如果出了一些意外情况它来纠错这样的分析。那在视觉的这一块，System 1的这个大脑，它在10赫兹左右的一个帧率，这个也符合人类视觉通路的这样的传感反应的这样的一个速度吧。然后它相应的模型的规模也会小一些。
主持人：比人还是慢一点，人应该是24赫兹吧？差不多你用看电影的标准，人的视觉传感是这个帧率。
朱雪舟：机器人的摄像头其实它传感的帧率也是比如30啊或者60赫兹这样的，但它基于视觉信息去推理一次，它输出之后的一段动作序列，那它可能会低于一些这个传感器的一些帧率。明白。
然后像包括触觉的反应这种动态的调节，它就需要更高的一些实时性，同时它模型的规模也会更小一些，所以它也可以做得更快。那有一些这种高动态的动作你需要快速的去响应，有些像运动员其实他们这种动作响应应该是非常灵敏的。那我们可能基线的对它的推理速度定义就在100赫兹左右。
主持人：这里有一些人体的信息，比如说人体的这种触觉传感到大脑的时间是在几个毫秒的量级。
朱雪舟：100赫兹相当于是10个毫秒。10个毫秒就100赫兹是对应10个毫秒。
主持人：OK，也就是说我们的手在触觉这个维度就是System 0这个维度，它是可以以10毫秒的速度来反馈一个动作的？
朱雪舟：是的。
主持人：这个确实我觉得也是比如说盘核桃的一个基础，因为如果以10赫兹的速度去盘核桃，核桃可能已经掉地上了，已经你都来不及盘。对有一些高动态的动作，像人有的时候像转书或者转一块手帕，那其实像这种高动态动作里面它就要有一个实时的反应的调整。
Joanna：在端侧上，具身智能它有一个比较大的challenge就是，它要处理多模态的信息，需要一个非常好低延迟的这样的一个处理，就必须要端侧。那在端侧的话，我们最新的这个Jetson Thor，就是专门解决这个具身场景提供的一个端侧的解决方案。它其实有几个亮点的。比上一代在内存大小上是有很大的提升的，像我们发布的这些GR00T的模型包括DeepSeek都是经过一些端测的模型加速之后可以部署在Thor上去跑的。当你在处理不同的任务的时候，你甚至可以放多个微调过的模型。
第二个亮点就是它在AI算力上，它是搭载的我们最新的Blackwell的架构，提供的是FP4稀疏的AI算力，能够达到2000多Tops的算力，对我们上一代的ORIN是有一个比较大的提升的。Blackwell带来的一个好处就是我们叫硬件的分割，就是提供了一个MIG的支持。为什么这个对机器人的应用比较重要呢？就是其实我们观察到上一代的这个计算产品，可能大家会用到双ORIN——可能一块GPU去做某几个任务，另一块GPU它去做其他的任务，希望能够做到任务的一个很好的分割。在Thor上的话，它从硬件层面上就可以把一块大的GPU，你可以认为分成小块的GPU，然后有一个比较安全的隔离，同时能够满足这种多任务的计算处理。
主持人：刚才其实也提到了三个系统它这个模型的规模是不一样的，我们可以看到System 2就系统二，它是一个10B的模型；System 1呢是1B的模型；具体到最小的100Hz的System 0，它是一个非常小的模型，一个0.1B的模型。雪舟能不能介绍一下这三个模型它是怎么协同？比如在硬件上它是跑在什么地方的？它是怎么样的一个软硬件的一个工作方式？
朱雪舟：大概讲一下，通常这三个系统它也是跑在一个整体的一个计算平台上，然后它们是异步的这种工作模式，之间会有一些信息交互，然后各自的这个模型的推理频率是不一样的。
主持人：我这里有个疑问，因为分层模型这件事情，我们最早看到是从这种像这种快慢系统——最早可能有这个方面思想的是谷歌的PaLM-E，然后做的比较成功的是这种Figure，它是双系统那个叫Helix，它那种的玩意儿。然后现在你们把它扩展成三层系统。就关于这个系统的层数，你们未来有没有什么样的一些预判呢？就是会不会层数越来越多，这个是个趋势呢？
朱雪舟：可能最后这样的三层就是最终收敛到的一个状态吧。然后可以看到这里每一层也是有一个主模态，就是比如说系统二它主模态就是在这个语言意识层面；系统一这个主模态是视觉为主导；系统零就是触觉和本体觉去主导。
那一个是这种三分层的系统，它可以做到在总体算力合理的情况下，最终执行的那个执行器的响应频率是比较高的，这种动态响应比较高、实时性比较好。另一个就是说每一层有一个特定的模态，大家之间不会去打架吧，就是说有一个模态做主导说了算，这样的就是避免一些模态之间冲突——不知道听谁的——这样的一种情形。另一个好处就是每层系统可以去分层的预训练，就是每一层就有自己特定的需要去掌握的一些规律，联合在一起它们把几方面的规律都能够体现好、执行好。这样的你想如果说所有的模态、整个模型都是一个整体的话，一方面构建了一个过于复杂的一个模态的空间，而且要去预训练那样的模型可以想象数据上会造成很大的障碍——就是你需要把所有的高质量的这种语言、视觉、触觉的模态都涉及到才能预训练那样的模型。它既难以训练找到规律，同时这个数据构建的难度会更大。那这样分层就是说可以针对性的去解决问题，分层处理。
Joanna：在这一块确实也是一个比较常见的解决思路，包括像GR00T 1.0出来的时候一直到1.7，它整体还是一个分层的思路，是分成System 0和System 1，也是有一个分层在的。但是我觉得后面一个比较好的形态不一定是有一个明显的分层。比如以RL强化学习为例，可能我们现在很多时候在处理有感知输入的时候，现在在走一个蒸馏的方案，我们会先去训练一个教师的模型，然后我们再用蒸馏去学一个学生的Policy。那现在大家其实也在探究，我的强化学习也可以直接端到端的把这个有感知的输入，然后通过RL来学出一个比较鲁棒的策略。后续大家也会去探索什么样的模型能够高效的把这种多模态的数据很好的align到一起，能够train出来一个非常好的模型。当然这个我觉得是和算力、算法还有数据一起在不断迭代演进的一个过程。
就比如说在模型训练上，一方面我们是需要更好的硬件产品、更强的算力、更大的内存，让我们更高效的去训练数据。那除了硬件上，其实NVIDIA也会去开发一些软件的产品来帮助大家去更高效的利用好我们的硬件资源，比如说怎么样能够高效的多卡的通信，怎么样能够高效的把这种视频数据通过硬件加速来loading，从而使整体的训练的pipeline它的利用效率是更高的。那当然像我们说到这个视频生成模型，它的一个生成效率怎么能够提高呢？就是在算法上也有非常多的探究，比如怎么样去蒸馏，能够以比较小的迭代的步数可以比较高效的生成出来结果比较一致，然后渲染的效果也很好的一个这种蒸馏的策略。
然后像在仿真上的话，我们最新推出的Newton，它非常重要的一个点就是高效的利用GPU来并行计算。尤其是当我们处理比较复杂的仿真场景的时候，比如说一些柔性物体的仿真，那现在可能大家常用的这种有限元的仿真，实际上它的计算量还是非常大的。我们怎么能够用GPU并行加速的能力去整体提高仿真的速度，这个是Newton非常重点的一个feature。
主持人：能不能解释一下或者举个例子吧，就是这个柔性物体指的是什么样的物体？
Joanna：柔性物体它其实也有不同的形态。常见的像衣服这种，它每个部分都会产生褶皱还有形变。那与之相对的比较简单的是这种刚性体的仿真，像我们拿起一个手机，虽然它实际会产生非常微小的变化，但我们在仿真里面就会认为它没有产生形变。那计算上的话它就只是会去计算每一帧这个手机的六自由度的一个位姿，然后加上它的速度。但是如果你考虑衣服的话，可能一件衣服它就需要成千的这种顶点的数目去描述它每一帧的形态。
除了衣服之外，可能像比如说液体——像我们端起一杯水，这个水它也不是一个刚体，它每一个部分都有自己的移动的速度。
主持人：主要是拿起来之后它那个水带来的这个移动的流体的区别是吧？
Joanna：对，流体，对对。然后还有像沙地，就是如果这个机器人走在泥土里或者是走在一个沙子里，就是不是那种平坦的地面，怎么样能够让它更加鲁棒的有这个Locomotion的能力。其实这些都是传统的仿真引擎面临的一些挑战，我们是希望由新一代的Newton来去帮助大家解决这些问题。
主持人：理解。因为传统的仿真引擎，因为我理解类似MuJoCo这样的东西，然后MuJoCo本质上它的设计思路它算是一个CPU-based的东西对吧？但是Newton算是一个GPU-based的东西。然后你刚刚讲的沙地的那个场景，我一下子理解了——就是为什么那个GTC每次NVIDIA和迪士尼合作那个机器人，你能看到它在沙地上走，这个亮点就是不直说要埋挺深，它就故意给那几个脚在沙地上摩擦，给几个特写。但是回想，人会知道说原来沙地的这个仿真之前是很难的。
Joanna：对。其实您刚才提的MuJoCo，它也是Newton里面集成的重要的求解器。那Newton带来的就是一个GPU加速版本的MuJoCo，你可以这么理解。我需要提一下Newton不是NVIDIA自己一家的产品，它是多家一起合作出来的产品，当然现在也在不断的开发迭代当中。其中一个重要的合作伙伴就是Google DeepMind，它其实是MuJoCo的提出者。原本的MuJoCo的话，它是更偏向于CPU这种模拟的，但是当我们想在强化学习里去训练的时候，我们需要大量的场景一起并行地进行计算，所以我们在Newton里的MuJoCo的版本就是通过GPU进行了加速。就是Newton的话，它针对不同的物理形态有不同的求解器，然后每一个求解器都最大化地利用GPU并行加速的能力。
十一、Sharpa的产品定位与开源
主持人：就雪舟，你们在做这个灵巧手的时候，几个核心的定位你们是怎么思考的？售价在万元美金这样的一个级别，然后匹配22个自由度，然后整个手上有很多的这种触觉的触点。因为不了解这个行业的人肯定乍一听觉得很贵嘛。
朱雪舟：为了解决这种通用灵巧操作的问题，那基于这一点我们会推导出来它的手的形态就应该是这样的——就是高自由度，然后有触觉传感，和人手一比一的比例，这样的它才能做一个硬件去解决通用灵巧操作这样的问题。那它第一步出来的价格是一个样子，但我们想的是你要先把这个产品形态做对。做对了它就能够有好的落地的应用场景，然后它开始起量，然后当起量的时候通常这个产品的价格都会有一个规律自然的下降。在我们心目中最重要的还是把这些产品做对，但形态的问题是最关键的——决定了这个产品是不是能够在市场上存活下来，它是不是一个对的设计，它是不是能真的解决问题。
主持人：对，现在这个阶段的灵巧手的客户可能更多的是一些研究机构啊、大学啊或者机器人的这些同行。那其实他们对价格我相信不会特别敏感，它不会像当你变成一个真的消费品之后大家对这个价格开始敏感。在这个阶段可能大家更关注的是这个手实际的表现如何。
朱雪舟：是的。第一个阶段就是像你所说的这种，它拿手这个采数据对吧，就验证一些场景这样的，然后它接受相对高的价格。然后一般第二波就是到这个商业的落地应用场景，再之后到家用，就是它这个成本和售价是一个阶梯式的要去递减的一个过程。
主持人：很多公司尤其是做本体做的比较好的公司，但某一个时刻他们会开始开一条所谓灵巧手的一个业务线。我不知道对于这些公司来说，他们一般是怎么衡量就是自研一个灵巧手和我长期跟第三方的手做深度的这种整合的这样的一个ROI？他们一般是怎么样做比较？就你们的竞争壁垒一般是怎么体现的？
朱雪舟：其实Sharpa从Day 1开始我们就是一家机器人的公司，就我们目标是解决通用灵巧操作的问题——"Make time by making robots useful"，就是我们想去生产时间，为人类去生产制造空余的时间。然后它的途径是让机器人变得有用，有用最关键的就是去解决通用灵巧操作的问题。
其实我们很多问题的思考出发点是沿着使命的方向去思考和出发的。其实当时第一点意识到一个真正好的灵巧手是行业的一个卡点、一个痛点，所以这个也是我们第一步倾注力量去解决的一个问题。然后也很快打造出了一个好的灵巧手。然后接着就是身体的硬件也跟上，像我们在今年的CES上就发布了全身身体加灵巧手这样的一个硬件解决方案。其实早在去年的我们最开始发布灵巧手的时候就是搭载着身体一起发布的，就是当时那个灵巧手更受瞩目一些吧。然后再进一步的就是说，我们优先做这个手也是为了去采集啊、收集数据来train这个灵巧操作方面的一个AI模型。就是其实硬件做到一定程度的时候你又发现这个卡点出现在算法模型方面，那其实我们也进一步的去提这样的分层式的架构，尝试去解决这些问题。就这样一步步的逻辑，其实它最终都是围绕着我们想去解决让机器人变得有用这个通用灵巧操作的这个问题。
主持人：就刚才提到的这些分层模型啊，这些手的一些架构，有做开源吗？
朱雪舟：是的，和NVIDIA一起合作开发的这样的手的仿真模型，包括上面触觉的这个模型，我们都是会开源的。就是说方便我们手和机器人的客户去使用这样的模型，用于他们的开发和落地场景吧。以及像一些学术类的工作，包括TactileMap这个模型，也包括像小苹果这样一系列的工作，大家感兴趣的也可以在Sharpa官网去看一看。后续我们还会考虑一些数据集，就是说用机器人本体和这个手采集的一些数据集会去一步步公开，这个也是为了方便大家去使用我们的产品训练模型。
Joanna：我们给自己的定位是一个AI的基础设施的平台。在具身智能这个场景里更有一点特殊的地方就在于，我们一直认为数据是一个非常重要的问题。除了在传统意义上大模型的训练啊、推理的加速之外，它还有一块就是怎么样在生成数据、利用数据、验证数据这个Pipeline上去做一些加速。像我们提的不管是仿真也好还是这些生成模型的加速，都是在除了模型之外在数据上也在做很多这种加速能力的解决方案。
十二、行业展望与结尾
主持人：两位嘉宾再分享一下，自己觉得这个行业里面最近看到的比较好的工作和比较期待的一些东西吧。雪舟你刚才讲了一个说Scaling Law快来了，这个我特别想知道你怎么看出来的这个信号？
朱雪舟：Scaling Law，我们是在正确的这个道路上吧。就是比如说一两年、两三年的时间，可以把这些数据和数据里面所携带的这个规律把它给补全，去实现具身机器人的一些泛化。当前我们分层的去预训练的这个框架是比较清晰的。像仿真的这个途径可以去源源不断的产生一些数据；像一些EgoCentric、HumanCentric的Data其实也是可以通过人类来助力到这个AI模型——就是通过人类多花一些精力去采集，把这个不同场景的这个数据给它收集到，然后从中提取出来这种规律。
那让我比较有信心的就是，今天的这种概率模型、生成式的模型，其实是之前通过大语言模型啊各种行业已经走通的。那有点像把这些模型的方法论再运用到具身的这个数据的领域，补全这种数据和数据里面分布的规律。那把这个方法论再去实践一遍，这个是让我们看到希望和有信心的地方。
主持人：希望考虑我刚才提的那个关于短视频第一人称数据的建议啊，大家把那个用起来。
Joanna：我观察到的就是，大家对触觉的关注度上来了，大家都在看怎么样能够高效的把这个触觉的信息利用起来。那包括在仿真上怎么样高效的把这个触觉信息很好的在仿真里呈现出来，作为一个模态的信息能够给到下游的模型的训练。因为触觉它是一种——我想怎么比——对于AI领域一种比较新的模态，不同于图片视频，它是一种比较全新的模态。而且中间有很多的那个隐式信息，比如说那个黏乎乎对吧，这种东西你怎么表现成一个传感器的一个——是的，表征成一种信息。对人表征成传感器能感知到的一种东西，它有特别多的那种人类从小玩泥巴、捏橡皮、啃手指就啃出来的很多隐式的东西。这玩意儿确实不能像全身动作一样——就是碰撞就是碰撞、刚体就是刚体，对吧。就黏乎乎、湿漉漉就这种东西触觉上是很难表示的。
所以确实我看到有不同的表示触觉的方法。我看Sharpa你们是用那个形变图对吧？
朱雪舟：对，用形变图，然后还有力和接触点这样的信息。对对对，你们是用这三组信息。然后行业里面其他的公司有非常多的这种不同的玩法，对对对，都拿来表示这个触觉。
Joanna：对，所以我觉得这块确实可能也是一个就是大量的一些基建和共识需要形成。
朱雪舟：是的。我觉得就是可能大家习惯了操作，然后不会专门意识到触觉是很重要的一个模态。但是可以补充一个小小的fun fact——就是说如果让医生把人的手做一个全麻，就是你完全感知不到手上这个手指的这种末端信号，然后在这种情况下去做一些手部的操作，很多时候你就会发现你很难完成你原本以为很简单的任务。
主持人：嗯。最后再扯一个好玩的中国古代有一种说法，就是一个人如果成熟呢，他需要知道四个东西——知轻重、知缓急、知进退、知取舍。如果我们拿到这个具身智能领域呢，我觉得好像也能勉强对应上啊。
比如说"知轻重"，它其实就是力度和触觉的这种感知。你如果知道轻重了，你才知道怎么样——现在可能我们解决是一个抓取的问题啊，但是可能未来就是做所有的操作，它可能都是你需要有整个力学的相当于对世界的感知。
那"知缓急"呢，一方面就是我们现在有不同的系统——系统一、系统二，它的速度不一样对吧。我们知道什么事情需要用什么系统来处理，那我们才能有更好的这种决策的机制。
那"知进退"呢，可能就是跟下肢相关大一点了，就是你要能够在一个环境里面去运动，你要知道如何找到这种安全的边界，像一个人一样在一个人的社会里面移动，locomotion这样。
最后是"知取舍"——视觉模态每天我们要吸收大量的这个信息嘛，但实际上你真正会处理的是非常小的一部分的信息，大部分信息你会很好的把它放弃掉。它有点像注意力机制啊，它也是我们也许未来这个机器人在处理很多任务的时候它需要有的一个决策的一个机制吧。
就是最后发现做这种机器人的训练跟做人好像越来越像了。
Joanna：哇，你太能上价值了！这价值上的我都不想接进去，多好玩啊。
主持人：本期节目就到这里啊。然后本期节目里面提到了比较多的研究成果和公司和一些产品，我们会把这些东西的一些介绍和需要配链接的我们也都会放在我们的这个show notes区域，欢迎你的查看。
好，谢谢大家，拜拜。
谢谢，拜拜。
感谢你收听脑放电波。欢迎你在苹果播客、小宇宙、喜马拉雅等平台找到我们，并且跟我们评论、点赞、互动，这对我们非常重要。如果你需要了解这期节目的更多内容，欢迎添加我们的小助手BRAIN_AMP01，然后加入我们的听友群和我们互动。谢谢！
字幕志愿者：杨茜茜