109. 机器人遭遇数据荒？与谢晨聊：仿真与合成数据、Meta天价收购和Alexandr Wang

谢辰

小扎给阿迪尔王的这个定位叫Chief AI Officer，我觉得也很说明这个问题。咱们就这么着说吧，就是说假设十年以后小扎想退休了，谁会接班？我认为大概率会是阿迪尔王。我认为就是说Meta它大概看到了一个很有意思的点，就是他认为未来十万亿公司的入场券一定要掌握AI数据的能力。我我觉得好的数据啊是两个事儿的成绩，第一个事儿是多样性的场景，第二个事儿是高质量的人的示范。其实我当时在英伟达的时候，老黄在内部就说：“NVIDIA is a simulation company。”其实我认为就是说中举的这个模型，应该是 cross universe cross embodiment，就是跨宇宙、跨世界、跨本体。

Hello，大家好，欢迎收听张小俊商业访谈录，我是小俊。这是一档提供一手高密度信息的商业访谈节目。今天又是一集机器人的专场，嘉宾是光轮智能的创始人兼CEO谢辰，他曾经在英伟达、Cruise以及未来汽车担任自动驾驶的仿真负责人。我们的话题非常的具体，即仿真与合成数据。今天的具身智能尚且没有找到Scaling Law的有效配方，其中数据是一个很关键的卡点。我们一百零六集的嘉宾银河通用创始人王鹤就提到，真实数据在他们的训练数据比重只有百分之一，而合成数据的管线挑起了大梁。那今天这期节目我与谢辰聊了聊仿真与合成数据的实操细节。

Steve，先给听众朋友们打个招呼，并做一个简单的自我介绍。

谢谢小珺的邀请。我叫Steve，中文名叫谢晨，是光轮智能的创始人兼CEO。我本科就读于北京大学物理系，之后在哥伦比亚大学读了金融学博士。

我曾经在Cruise负责仿真，也曾经在英伟达全球负责整个自动驾驶仿真业务。2021年回国，2023年创立了光轮智能。光轮智能是一家做具身智能合成数据和仿真的公司。

先来几个快问快答。公司名字？

光轮智能。

创立时间？

2023年。

融资轮次？

现在是Series A。

目前的估值？

这个不方便说。

目前是盈利还是亏损？

目前是亏损，但是极其接近盈利。

你的年龄？

我今年38岁。

你的MBTI？

ENTP。

我们之前做过两期机器人专场节目，包括陈建宇老师来讲VLA经典架构的论文，王鹤老师讲具身智能的学术史和一些行业乱象。今天这期节目，我们希望做一张具身智能全球产业图谱，也算是一期科普节目。

正式开始之前，能不能先给听众朋友们解释一些关键术语？比如sim-to-real，这可能会是我们今天的高频词汇。

没问题。Sim-to-real，简单来说就是通过仿真去训练机器人的算法，再把它落地到真实的机器人和真实场景中。大家经常会说，sim-to-real之间存在一个gap，也就是说，在仿真环境中训练出来的算法，落地到真实世界时会遇到一些困难。

后面我们会讲得更具体，包括这个gap到底在哪里，以及通过光轮智能、通过我们和整个产业的合作，如何去减少sim-to-real gap。

合成数据，简单来说，就是通过自动化、程序化的手段生成数据。当然，程序化手段可能分为不同种类，比如通过仿真生成，通过算法生成，或者通过两者结合的方式生成。光轮智能更多采用的是一种hybrid的思路来做合成数据。

合成数据也分很多种。最早在计算机视觉，也就是computer vision行业，可能是一些二维的、带标注的数据。金融行业通过统计学方法扩增出来的数据，也可以叫合成数据。

到了现在，为了自动驾驶或者具身智能，更多生成的是三维的、带有机器人轨迹的数据，甚至是人在环的数据。这可能是我们今天重点讨论的合成数据。

你能不能讲讲，为什么你创业选择做仿真和合成数据这个方向？上次王鹤也提到，真实数据在他们训练数据里的比重只有1%，所以合成数据的管线挑起了大梁。合成数据对于具身智能这个赛道来说，究竟是不是本质性的东西？

它很本质，我非常同意王鹤的看法。我个人对合成数据有很强的信念，这个信念来自于2018年。当时我加入Cruise，Cruise是一家做L4自动驾驶的公司。

我当时在Cruise被当时的CEO Kyle Vogt任命，负责整个仿真。

这是你开始接触仿真吗？

对，这是我当时开始接触仿真。其实我最早加入Cruise时，负责的是整个高精地图。由于我当时做得比较好，大概在3个月之内，把整个高精地图重新做了一遍，包括整个管线、自动化，以及真正解决当时高精地图更新、制作、扩增和质量等方面的问题。

因此，我可能比较被管理层信任。后来他们把我派到了一个更加关键的岗位，负责整个仿真。

当时Cruise的仿真在外界看来可能是一个极其有意思的方向，但在内部其实承担了很大的压力，而且不停有人离开。CEO会不断开人，因为我们的CEO比较狠，可能和马斯克比较像。

脾气不太好？

对，脾气很差。他可能要求3个月之内看到成绩，如果没有任何成绩，就把人开掉。

他一度把整个仿真部门直接汇报给自己，这样就可以看到内部的很多问题，然后不断开人。

Cruise最早找了一批做游戏的人，也就是基于Unreal Engine等游戏引擎的工程师。他们开发了一套东西，英文名叫Matrix，就是《黑客帝国》的意思。

他们通过游戏引擎、游戏技术和美术资源复刻了整个旧金山，希望在里面训练和测试无人驾驶车队。但当时遇到的问题是，这些数据没有办法直接交给感知部门使用，所以它更多只是一个看起来很棒的玩具。

这个gap出现在哪里？

Gap就出现在刚才提到的sim-to-real问题，也就是仿真和真实世界之间存在很大的差距。同时，这些工程师自己并没有预期要解决这个问题。

为什么？因为他们原来是做游戏的，目标是做出一个看起来很炫、很exciting的东西，而不是解决机器人或者机器学习所需要的真实数据问题。

另外一方面，软银、孙正义这类公司当时给Cruise投了很大一笔钱，因为他们看到了内部工具链，尤其是仿真带来的可能性。Cruise因此又遇到了一个很大的压力，就是如何把这些可能性真正交付出来。

把我挖过去负责仿真，也给了我很高的预期。他们希望我像解决地图问题一样，在几个月之内解决仿真问题，所以当时确实遇到了很大的挑战。

我觉得我的优势在于，我本科是学物理的，博士读量化金融时又用了大量机器学习的东西，所以我对数据有比较深的理解。

因此，我首先从机器学习的角度定义了仿真的需求和合成数据的需求。数据必须建立一套管线，可以通过增加数据来喂给模型，进而提升模型的表现能力。这才是真正验证合成数据有效的手段。

我当时做的第一件事，并不是提升合成数据，也不是提升仿真，而是先建立了一套评价系统。我认为这是非常关键的一点。

通过这套评价系统，我发现仿真和合成数据有很大的问题，存在很大的gap。最关键的是，当时没有任何人真正试图解决这些gap。

他们解决的可能只是：从视觉上看，这辆车像不像真的；从视觉上看，这棵树像不像真的。但他们并没有关注，把这些数据生成出来、喂给模型以后，模型是否真正得到了有效提升。

所以我通过这种反向的方式，帮助我们定义到底需要在哪些地方提升。可能不只是视觉真实度，还包括数据分布、传感器模型、噪声的真实度等。

在这些层面上，我又提出了一种用AI提升数据本身的方式。当时是2018年，生成式AI还处在非常早期的阶段，主要是GAN这类网络。它通过对比真实数据和合成数据，尽量缩小两者之间的gap，把合成数据迁移到真实数据的某些风格上。

比如，让天空变得更灰一些，让传感器带有更大的噪声。当时还是比较基础的生成式AI手段，但最终确实可以用来提升数据。

用了这些方法，再加上我们建立了评价标准，我们就越来越深入地理解了整个技术栈，包括资产本身、场景分布、传感器仿真，以及数据生成链路的质量，然后不断提升它。

当然，我并没有像做地图一样，3个月就解决这个问题。我大概花了6个月的时间，但在6个月之后，我们真正做出了一套有效的合成数据方案。这套方案可以有效提升感知模型的表现。

数据管线应该怎么搭？

从一个全局角度来看，数据管线更多就是一个输入和一个输出，中间是一套管线。

输入可能是一些场景。场景可能来自人的定义，也可能来自真实世界的观察，以及基于真实场景做出的变化。

比如，路上遇到一个危险场景：前面有一辆自行车突然插入。以这个基础场景为起点，可以基于统计、人工或者AI的手段，把它泛化成更多场景，也可以生成更多资产。

资产可能包括自行车、汽车、地面、周围的树等。基于静态资产和动态场景的组合，就可以生成一个世界。

在这个基础上，我们还要经过传感器仿真，把数据从车的视角观察到、输出出来。在这套管线中，还会包括标注，也就是自动化标注。

当时的标注很多还是基于二维机器视觉的标注，比如人、车的边界框，以及语义信息：这是人，那是车。

后来越来越多的可能是三维甚至四维标注，包括语义信息。

管线最后还会有一个质检环节。这是我们当时发现极其关键的一个环节。它通过自动化手段以及人在环的手段，真正验证输出数据的质量，保证数据确实能够为最后的模型训练提供有效支持。

这个评价系统有什么评价标准？

当时我们从第一性原理上思考，可能有两类大的标准。

第一类是绝对评价，也就是它到底有多真实。更多是把输出的数据与真实数据对标，比如光线、光照、色彩、传感器噪声、标注信息等，到底准确到什么程度。

第二类是从效用性上评价，也就是数据生成出来以后，是否最终能够有效服务模型。

我举一个例子。我认为，未来数据的走向会越来越偏向效用性。效用性有点像你可以买一杯浓咖啡，也可以买一杯兑了很多水的冰咖啡。浓咖啡对个人兴奋度的提升非常高。

未来的数据可能会越来越重视效用性的评价，这会让数据的信息密度越来越高，用越来越少的数据，给模型提供越来越多的价值。

Cruise当时为什么发现合成数据很重要？在当时的自动驾驶行业，这是一个共识吗？

最早并不是共识。之所以需要合成数据，是因为从L4全无人自动驾驶的角度来说，当时更多是基于固定区域运营。

比如，Cruise当时希望最早在旧金山发布无人驾驶车辆。在这种情况下，每天能拿到的数据量相对有限。那要怎么解决边角场景？

旧金山有很多流浪汉，他们可能经常窜入窜出；旧金山有很多上坡、下坡，也有很多雾。这些场景都足够难，而且从数据分布上看并不常见，所以拿到的数据量不大。

但这些场景会严重影响无人车，尤其是视觉感知算法。于是我们遇到了一个数据问题：要解决小样本事件，却没有足够的数据训练模型来解决这类事件。

另外一方面，我们也希望发现更多安全问题。但由于缺少数据，我们也没有办法发现和验证类似的安全问题。

因此，通过合成数据对真实数据进行扩增，可以有效发现更多系统级的安全问题。针对这些问题，再通过扩充数据量的方式解决，就可以更快地实现迭代闭环。

比如一个长尾问题，你们怎么做合成数据？就以刚才提到的行人突然窜出为例。

这类数据相对比较少。首先，我们可以在仿真里基于这个场景扩充出很多不同种类的行人：不同的衣服、不同的样貌、不同的形态，包括大人、小孩、老人，以各种方式窜入、窜出。

然后，我们可以改变周围的场景。可以在相同车道，也可以在对向车道；可以改变交通情况，也可以改变天气和光照，最终实现多样化。

这样，就能把一个在路上遇到的真实问题，泛化成成千上万个问题。基于这些问题，我们可以让算法在仿真里跑1万遍，看看它是否会遇到相同的问题。

我们可以观察感知系统是否出问题，预测系统是否出问题，或者整个系统是否能够有效避免类似问题。

同时，当我们发现足够多的问题以后，还可以利用这些数据中足够精确的标注，再喂回感知模型或者预测模型，帮助模型有效提升。

这样，通过路上的一个小样本，我们就可以尽可能解决更多类似问题。

所以在Cruise的那6个月里，你最后发现合成数据和真实数据的配比应该是多少？

这是一个很好的问题。我认为它没有固定答案，因为要分情况。

对于一个corner case，也就是长尾场景，因为长尾场景非常稀缺，可能一年也遇不到多少次。理想状态下，每一个长尾场景可能都要配1,000到10,000条合成数据。

所以从单个长尾场景来看，合成数据的配比非常高。但从整个数据全貌来看，我们确实也会使用很多真实数据。当时从整体上看，大概30%的数据会用到合成数据。

对于常规场景来说，我们使用的合成数据比例其实超过了王鹤老师说的1比99，或者1比100。

当然，我们现在说的是自动驾驶。对于具身智能来说，情况会完全不一样。

自动驾驶为什么合成数据可能是30%甚至更低？因为自动驾驶所需要的最大量数据一定是真实数据。汽车这个平台已经被发明了上百年，特斯拉、理想、小米等车企有大量车辆在路上行驶，也有很好的传感器和计算资源，会不断把数据回传回来。

从本质上说，他们付出的费用仅仅是计算和带宽的费用。司机，也就是买车的人，本质上替他们把数据拿了回来。

这类数据的量非常大，所以对于自动驾驶来说，现在L2+自动驾驶最大部分的数据一定是真实数据。当他们有针对性地提升某个问题时，尤其是越来越边角的长尾问题，可能会用到更多合成数据。

但从整个数据使用盘子来看，真实数据一定占最大比例。

对于具身智能来说，情况完全相反。机器人这个平台并没有被发明上百年。现在全世界没有上百万辆、上千万辆真实的人形机器人、四足机器人在街头随便跑，产生真实数据。

所以真正推动具身智能发展，首先必须依赖大量合成数据，其次依赖相对少量的真实数据。否则，这件事的商业模式就不可能成功。

有没有可能这是一个倒推？必须先有这么多真实数据，产业才会成功，而不是因为产业链必须成功，所以才需要合成数据？

我理解你的意思。我认为，首先，通过自动驾驶以及我们现在服务的整个产业，我们已经看到了合成数据真正的价值。

其次，确实可能存在你说的情况：一些基于遥操作的方案，先在小场景下落地。但它的底层逻辑是，遥操作必须产生更多价值，必须形成正向的商业闭环，才有可能持续。

车可以卖，机器人可以卖吗？

对，车可以卖。除非遥操作机器人可以卖钱，而且它能够自己赚钱。

我认为现在想这件事可能还比较难。我们可以举一些例子，看看哪些地方可能存在这样的机会。

首先是主机厂。国内主机厂已经极其自动化了，真正通过人工遥操作产生机器人价值、并且能够赚钱的机会，我觉得不太可能出现在国内主机厂。

全球范围内，德国、日本、美国可能会存在一些机会。但问题在于，首先肯定得是跨州、甚至跨国家的遥操作才行。如果在同一个州，人工成本还是很高。美国很多州还有不能跨州遥操作的禁令，所以遥操作并没有那么容易。

另外，除非它是主机厂内部的一个部门，试图去优化生产，否则如果是一家公司去服务另外一个主机厂，事情也没有那么好做，因为还涉及工会内部的政治问题。

所以在这方面，我觉得特斯拉可能是唯一有这种可能性的公司。它可以通过一套真实遥操作、潜在跨州的解决方案，帮助内部主机厂的一些环节提效。

但对于其他公司，我觉得整体可能性不大。再比如酒店业、零售业，遥操作一个机器人所产生的价值，和它真正的成本相比，我认为整体ROI也没有那么高。

所以，如果从具身智能的全局来看，是否存在一条以遥操作真实数据为主的路线，能够快速迭代、快速落地，而且比以合成数据为主的路线更快，我认为不太可能。

你后来为什么从Cruise去了英伟达？

我在Cruise已经把仿真做到了一个极致，这确实也是因为我做得足够好。当时黄仁勋以及英伟达自动驾驶业务的其他负责人看到了我的潜力，希望我去负责整个英伟达的自动驾驶仿真。

从我的角度来看，我认为仿真这件事在一家做到极致，可能并不是最有意思的事情，因为每家公司可能都有不同需求。

我大概知道L4全无人自动驾驶对仿真的需求是什么，但我并不知道L2，也就是量产自动驾驶，对仿真的需求是什么。

当时在美国，要么是Waymo、Cruise这样的公司，要么是英伟达。Waymo和Cruise做的是L4，英伟达服务的是L2量产自动驾驶客户。

所以对我来说，这确实是一个很有意思的机会。

第三，我当时也看到英伟达是一家技术含量极高的公司。我当时和朋友、太太都说，我认为英伟达可能是全球最强的硬科技公司。

那时很多人还把英伟达理解成一家做游戏显卡的公司，并没有那么深的认识，但我确实看到了这一点，所以也希望进去学习。

那一年英伟达市值多少？

我还真不记得，可能是现在的十分之一以内，大概是这样。

当然，去了英伟达以后，我后来为什么离开，主要有几个原因。

第一，我去之前认为英伟达的Orin，也就是它的车载芯片，最大的客户可能会是Waymo和Cruise。我当时在Cruise，对这一点一直有自豪感，觉得肯定会是这样。

但我去了以后发现，它排名前三的客户是“蔚小理”。这让我瞬间意识到，我认为自动驾驶的未来一定在中国。

前三大客户是蔚小理？

对。你想，Waymo和Cruise的自动驾驶即使做得再先进，量也很少，并没有量产。它们一年可能只有几百辆、上千辆的规模，根本赶不上中国量产电动车的规模。

当时一辆车可能配4块Orin。理想当时一辆车配2块Orin。

所以我认为，自动驾驶下一代的机会，尤其是量产机会，一定在中国。我突然意识到，自己很有可能会和这个大的机会脱节。

那德国那些车企呢？德国车企比较节省，可能买了高通的芯片。日本呢？

日本也差不多。真正带动英伟达最高算力芯片的，就是蔚小理这类公司。

我觉得这也是一件挺让我们自豪的事情。现在看这些自动驾驶，确实中国在L2+自动驾驶上是遥遥领先的。

当然有一个特例是特斯拉。我觉得它绝对是最好的。特斯拉是英伟达第几大的客户？

特斯拉后来用的是自己的芯片，所以它已经不是英伟达的车载芯片客户了。它自研了自己的车载芯片，也希望自研数据中心的算力。

但它在数据中心算力上并没有完全自研出来，所以现在仍然大量囤积英伟达的计算卡。

这也是当时让我觉得应该回国的一个原因。

第二个原因是，我可以把技术架构和整个产品方向快速和大家对齐，并且把事情真正implement出来。但在这样一个宇宙大厂里，执行力其实没有那么高。

我认为，如果我真正做这件事，在其他地方可能半年到一年就能做出来，但在英伟达可能要花更长时间。于是我觉得自己应该回国，加入一家新势力公司，把我看到的下一代仿真真正做出来，实现自己的价值。

是不是有好几个英伟达的人都加入了新势力？理想那边也有。

对，是的。我们的同事当时是在国内，而我当时还在美国，所以不是因为理想的朋友在国内才过去的。

你在英伟达了解到，L4自动驾驶和L2+自动驾驶的仿真系统有什么不同吗？

差别还是挺大的。

对于L4来说，很早就需要用到强化学习，因为它需要不断提升能力，达到接近人甚至超越人的水平，尤其是在极端场景下。

对于L2来说，底层学习逻辑更多是模仿学习。它尽量让车辆适应人的驾驶方式，尽量拟人化，并没有那么在意接管，这就是核心区别。

由于这个区别，L4仿真更多强调闭环仿真、整个闭环的效率，以及其中的agent，也就是智能体，因为它需要锻炼强化学习能力。

L2仿真可能更多是国内所说的“log replay”，也就是把道路上的真实数据通过回放的形式大规模运行，帮助验证整个系统，之后再不断做闭环。

其实我们后面讨论具身也会遇到同样的问题：从模仿学习走向越来越多的强化学习，只不过具身对强化学习的需求远远高于自动驾驶。

对，而且具身对物理交互性的需求也远远高于自动驾驶。因此，我认为具身仿真的难度远远高于自动驾驶仿真的难度。

你在蔚来后来待了几年？

我在蔚来待了一年半。

这么快就出来了，为什么？

我其实一直希望创业，回国的一个主要原因也是希望创业。

李斌是一个极其有格局的人。第一次他来找我聊天时，我就跟他说，我一定会出来创业。李斌说没关系，他欢迎我将来创业，也愿意让我先到蔚来，帮助蔚来解决一些具体问题，之后再去创业。

所以我们本来就有这样的预期。

大概一年时，我们已经攻破了一些最核心的问题，也有效支持了蔚来的第二代车型，比如最早的ET7等一系列车型，基于仿真进行大规模评测并落地。

在这个过程中，我也看到了更多在国内和行业合作的机会，越来越坚信仿真和机器人可以结合。

所以我大概花了半年时间做transition。其实工作满一年时，我就跟李斌提了离职，但花了半年时间做准备，包括把我的好朋友、当时百度仿真业务的负责人找来接替我。

把这些事情做完之后，我就出来创业了。

我认为核心问题在于，这件事底层应该由什么样的背景、什么样的leader来带。

比如Andrej Karpathy为什么那么厉害？因为我认为他的底层能力是算法和工程的结合。

另外，对于特斯拉来说，它的自动驾驶团队其实非常小，只有240个人。我认为，自动驾驶团队可能被过度扩张了规模，反而导致很多核心的大基础算法没有得到有效突破，大家都陷入了模块级提升。

所以你刚出来时，还在沿着自动驾驶做自动驾驶仿真，后来才转到机器人赛道。你指的就是光轮智能，对吗？

对。创业以后是这样。我最早写的PPT叫Simulation for Robotics，是为了机器人做仿真和合成数据。当时还没有“具身智能”这个词。

但当时遇到的普遍问题是，投资人都不是问我什么是仿真，而是问我什么是机器人。

他们会问你是不是扫地机器人？

对。他们会问：“你指的是扫地机器人吗？”我说不是。然后他们又问：“那是产线上的机械臂吗？”我说也不是。

他们问我：“那你指的是哪类机器人？”我说，我指的是特斯拉这类人形机器人。

他们又问：“还有谁在做人形机器人？”当时我看了一圈，真正做人形机器人的公司并不多。

当然，我当时已经有比较具体的vision。我认为，一个比较好的落地场景和产品迭代路线，是先服务自动驾驶，再服务具身智能产业。

自动驾驶这边其实很有意思。量产自动驾驶已经做到了相对不错的水平，但需要更多数据，比如需要30%的数据。

对，需要边角数据。

没错。所以我们基于仿真和合成数据，帮助它们生成这类数据，有效提升算法。

我们在这方面做得足够好。国际上一些大厂，比如波士顿动力、英伟达，以及现在国际上非常火的一家自动驾驶VLA公司Wayve——它拿到了软银10亿美元投资——都使用我们的合成数据。

当然，国内也有很多主机厂在使用。

国内有哪些可以说吗？

长安、吉利、比亚迪等都在用我们。还有很多公司，有些方便说，有些不方便说。

我们一直怀着一个希望解决具身智能问题的心。比较幸运的是，去年整个国际具身智能产业开始起来了。

最早大家还在讲故事，所以对合成数据和仿真的需求没有那么大。后来越来越严肃的开发开始了，我们也比较幸运地服务了第一家具身智能公司，那就是Figure。

Figure可能是目前全球具身智能估值最高的公司。之后是英伟达的Isaac团队，再之后是DeepMind，也就是谷歌的AI部门，还有很多国际高校、国际大厂的具身部门，以及国际上比较顶尖的具身公司。

国内也有智源、银河通用等公司。

给具身智能做仿真数据，和给自动驾驶做仿真数据，有什么不同？你之前说过，具身对强化学习和物理交互的需求要大很多。

我觉得大概有三个点。

第一，具身经常会提到一个词，叫cross-embodiment，也就是跨本体。理想状态下，我有一套模型，可以在人形机器人上使用，也可以在不同的人形机器人上使用，还可以在机械臂上使用。

但不同本体之间的差异极大。对于汽车来说，自动驾驶算法在本体上的差异相对很小，都是车，都有4个轮子，车型之间的差别也没有那么大。

所以，跨本体对仿真和合成数据来说，难度极大。

第二，自动驾驶底层更像是一个视觉游戏。你不要撞到前面的东西，更多是视觉判断，并没有多少物理交互。汽车唯一持续存在的物理交互对象就是地面，除非和其他车撞上，但碰撞是需要避免的事情。

对于具身智能来说，物理交互是最核心的，尤其是手部交互。

从自动驾驶角度来说，车和地面之间的交互种类相对有限。不同种类的地面虽然有差别，但交互关系的泛化性相对较小。

具身智能就不一样。我们每天都会做很多事情：冲一杯咖啡，拿一根吸管，打开冰箱，敲键盘。物理交互的种类太多了，所以对数据千变万化的要求远远高于自动驾驶，尤其是物理属性数据。

现在视觉数据到处都是，因为有照片和视频。基于照片和视频，可以生成道路上的汽车、街道、路面、树等很多东西。

但我们缺乏物理交互数据，所以不可能直接存在一个AI算法去生成这类数据，因为底层数据本身就不存在。

首先要做的，是采集这类数据，并把它放到仿真里。这就是我们做的很多real-to-sim工作。它不是视觉上的real-to-sim，而是物理上的real-to-sim，也就是从真实世界到仿真的过程。

第三，具身智能一定要能够服务强化学习。服务模仿学习时，数据是开环数据，采集一个片段就可以。

比如，我可以通过第一人称视角，在仿真或者真实世界里遥操作机器人，采集第一人称看到的轨迹。假设我拿一个瓶子，把瓶盖拧开，就可以训练机器人做出类似动作。

但问题在于，泛化性相对比较低。机器人可能会拿起这个高瓶子，但换成一个矮瓶子，或者换一种旋转方式，可能就很难泛化。

怎么提升泛化性？要用更多强化学习。

历史上，机器人最早也是以强化学习起家的，但那个时候更多是偏locomotion，也就是偏下肢的强化学习。

现在需要的是全身强化学习，尤其是手部的强化学习，而且要有视觉在环：机器人要在视觉观察的基础上进行强化学习。

同时，现在强化学习越来越类似于DeepSeek所采用的方式：先基于大语言模型或基础模型进行训练，再基于强化学习做fine-tune。具身智能也需要类似的过程。

这就要求仿真是闭环的、足够高效的，能够大规模并行，服务强化学习的需求。

所以与自动驾驶相比，具身仿真的难度要高很多。这就是我认为具身仿真和自动驾驶仿真之间最大的三个难点。

怎么评价一个仿真是好仿真？

我觉得这是一个关键问题。我们现在的使命就是让仿真成功。

现在大家都在做仿真，也有很多论文和课题研究仿真，还有越来越多的仿真器试图解决不同问题。但实际上，很少有人真正关注什么是成功的仿真，什么是好的仿真。

我认为，一个好的仿真首先肯定能够支持sim-to-real，也就是支持从仿真训练出来的算法真正落地。

这需要很好的real-to-sim，把真实物理世界的物理参数拿回来，放到仿真里，而且要足够准确。这就要求有高质量的资产和场景。

没有高质量的资产和场景，就相当于没有足够好的原料，也不可能造出足够好的仿真。

其次，仿真引擎底层的solver，也就是求解器，需要足够准确。它和场景、资产、机器人结合之后，能够产生正确的仿真输出，这也极其关键。

另外，仿真输出的信息还需要有很好的API和工具链，能够最终输出，并且有更多metadata，也就是额外的数据和标注，服务算法训练。同时，它还要足够高效。

举一个冰箱的例子。现在全世界普遍的仿真资产里，冰箱往往都打不开门。它可能只是看起来像一个冰箱，视觉精度也不够，甚至连最基础的物理信息都没有。

即使有些冰箱能够开门，也不一定符合真实物理信息。比如铰链是否准确，力学信息是否准确，重量是否准确，拉开冰箱门需要多大的力是否准确。

即使这些信息都有，也可能只有一个单一品种的冰箱，并没有足够多、足够符合真实分布的冰箱。

要做一个好的仿真，还需要有足够精确的机器人。大家很容易忽略的一点是，宇树等很多机器人的真实世界模型已经足够好，但在仿真里的模型可能有很多问题。

我们遇到过很多客户，他们的问题是：一个机器人的手在真实世界可以拿起1公斤、2公斤的东西，但放到仿真里只能拿起0.1公斤。客户花了6个月甚至更长时间调这个手，还没有调好。

所以，真实情况和大家想象的很不一样。很多细节都要对齐，包括物理环境，也包括机器人本身。

在这个基础上，如果要做类似DeepSeek那样基于大模型和强化学习的fine-tune，就会遇到问题。

首先不是多卡的问题，而是单卡上能够并行跑多少个environment，也就是多少个环境。这些环境还需要有感知在环。

我现在说的这个方向，可能是硅谷最领先的一些机构正在探索的方向，我们也在非常紧密地支持他们。这还不是一个普遍现象，普遍情况仍然是在没有感知在环的情况下做强化学习。

但如果有感知在环，就需要足够精确的场景和环境，还要让机器人与场景交互。这样一来，仿真环境在强化学习中的并行效率就会很低。

可能一张卡也跑不了多少个环境，整体的total FPS，也就是能够跑多快，会非常低。

如果效率足够低，就没有足够好的并行能力和效率去把算法真正做出来。

在此基础上，还要有足够好的评价闭环，不断实验sim-to-real，持续观察基于这套仿真管线训练出的算法，能不能立即部署到机器人上，并且在真实世界中得到足够好的表现。

把这些全部做完，才是一个足够好的仿真。

我的vision是，好的仿真应该像饮用水一样，是人人都可以获取的东西。所有做机器人的人都应该可以获得它。

它有点像美国加州的自来水：打开水龙头，接一杯就可以喝。

但现在的仿真是什么？大家产生了大量仿真、大规模仿真，但这些水喝了会拉肚子。

所以第一步，需要真正造出高质量仿真，让每一个仿真都是高质量的，这样才能真正推动整个行业发展。这就是我们现在正在做的事。

有什么关键技术是你们能做、但别人做不了的？

我具体讲一下。刚才我们讲了real-to-sim、simulation，也就是仿真，以及sim-to-real。我认为，我们在每个环节都有足够关键的技术。

第一个环节叫real-to-sim，就是把真实世界的物理信息拿回来，放到仿真里。这里一方面是准确度，另一方面是规模效率。

如果花很高的成本才能拿回一个冰箱的参数，就没有办法规模化提供饮用水级别的优质仿真。

从我们的角度来看，我们有很多底层AI能力。这个AI能力不是基于视觉重建，而是基于物理重建。

我们可以把物理采集设备拿回来的关键信息，以及机器人和物体交互时采集到的信息，相对自动化地转化成核心物理参数，再基于整套工具链和一定分布，把参数泛化到不同的仿真资产和场景里。

这是非常关键的一点。它让我们具备大规模制造高质量sim-ready资产和场景的能力。

这个能力目前在全球只有我们一家拥有。现在我可以说，全球最好的机构，它们仿真所用到的基础原料，都是我们产生的。

这不是说我们是这些仿真供应商之一，而是说我们是它们唯一的仿真供应商。我们是刚才提到的那些最核心机构唯一的仿真供应商。

这个点真正把我们和其他核心公司区分开来。

第二是仿真本身。仿真需要底层非常强的physics solver，也就是物理仿真器。

我们尽可能利用全球最好的两个仿真器，一个是MuJoCo，一个是Isaac Sim，分别来自谷歌和英伟达。但我们和它们是强合作关系，因为这两家既是我们的客户，也是我们的合作伙伴。

在这个基础上，我们又基于Warp这种GPU加速的底层仿真语言，自研了很多仿真能力，并把它们和整套体系打通。这样，结合最高质量的仿真资产，就可以产生足够准确的仿真。

所以在仿真方面，我认为我们最核心的是底层solver的自研能力。

在sim-to-real方面，你可以理解为，我们本质上把自己定位成一个playground，也就是游乐场。

如果说我从自动驾驶、Cruise和英伟达学到了一件事，那就是：这个世界上有很多优秀的算法工程师，但他们缺少一个游乐场，让他们快速实验和推广自己的小发明。

你应该搭建一套平台，让任何人都可以快速实验，找到信号以后，再快速规模化。

这个平台的底层需要大量资产和场景，因为资产和场景相当于底层原料。没有原料，游乐场里就没有游戏可以玩。

同时，这套底层solver，也就是物理引擎，要保证能够提供高质量输出。只有这样，才能把大家吸引过来。

我们自己也在不断自研基于基础模型的强化学习fine-tune，并基于sim-to-real落地。

比如在人形机器人上，包括G1、H1；在机械臂上，包括Franka；以及在轮式机器人等几个核心形体上，不断做sim-to-real，最终再反馈给我们自己的仿真迭代流程。

如果总结一下，第一是基于物理快速重建高质量仿真资产和场景的能力；第二是底层仿真器的自研能力；第三是sim-to-real的能力。这三项是我们最核心的能力。

为什么这些具身智能公司不自己做，而是让第三方公司做？

我认为，这件事本质上太难了，需要一个critical mass，需要足够多的优质人才在一家公司里把它打通。

我举一个例子。Physical Intelligence，也就是PI，我认为它可能是全球具身算法做得最好的公司。它的π0模型做得非常棒。

Sergey Levine和Chelsea Finn，我认为都是非常优秀的教授，一个来自伯克利，一个来自斯坦福。他们最早都在DeepMind，后来出来创办了Physical Intelligence。

PI可能是目前全球基础模型，尤其是具身基础模型做得最好的公司。

当然，大家都说这家公司只使用真实数据，其实不是。他们特别希望使用仿真，但他们的问题是，花了很长时间寻找一个仿真负责人，到现在还没有找到。

他们接触过的人，很多都是我的好朋友，我也劝他们不要加入。为什么？因为PI对外宣称不相信仿真，但内部又强烈相信仿真。

作为一个最优秀的仿真人才，为什么要加入一家公开宣称不相信仿真的公司？这对这些人才来说很难接受。

这些人才大概分为几类。一类是最好的大学里的young professor，也就是AP；另一类是优秀实验室教授的博士毕业生。

这些博士生很多都是我的好朋友，我也帮不少人做过职业规划、给过意见。他们后来有些去了OpenAI、DeepMind、英伟达和特斯拉。

所以，即使是PI这种全球具身算法最领先的公司，也很难获得这类人才。

另一方面，我认为全栈仿真不只是技术问题，它大概是四件事的结合。

第一是仿真技术能力，第二是工程能力。仿真不是一个纯粹的算法或者科研项目，它更多是一套大规模工程化能力。

第三是算法能力。比如sim-to-real和real-to-sim，都需要通过算法把物理参数拿回来，因此对算法要求很高。

第四，我认为大多数科研公司都不愿意碰，那就是运营。

这件事离不开大规模运营。把世界上的物理信息拿回来，不可能只是拍一张照片，然后数据自动生成出来。一定要有人参与。

另外，检验仿真的真实性、有效性和质量，也不可能是完全自动化的事情，因为人是真正提升数据质量的核心标准。

Scale AI被Meta收购已经很说明这个问题了。Scale的数据为什么越卖越贵？因为它使用的人越来越好。

所以，人的驱动一定是数据中的核心因素。

你怎么看这次收购？

这次收购被报道为300亿美元，但实际上Meta支付的金额大概是150亿美元左右。我觉得这个收购更多是一个acqui-hire，也就是收购人才。

它越来越像硅谷近期一些AI大模型公司的典型收购：收购的是核心人才，而不是整个团队本身。

我认为，Meta可能看到了一个很有意思的点：未来十万亿美元公司的入场券，一定是掌握AI数据的能力。

如果回到10年前，假设你是微软CEO，你希望收购哪家公司？

10年前你肯定希望收购英伟达。

假设你现在有一台时光机，已经看到了今天AI的发展，回到10年前，你作为微软CEO，希望收购谁？

我认为一定是英伟达。因为英伟达作为算力公司，是真正的AI大模型核心能力。

我认为小扎正是看到了这一点。他往未来10年看，如果Meta希望成为一家十万亿美元级别的公司，就希望拥有AI的基础原料。

它缺什么？一定缺数据。所以它一定要把数据的底层能力买到。

这个底层能力包括几个核心部分：团队成员的核心认知、核心能力，以及人才组织能力。

我认为Alexandr Wang具备这些条件。

另外，小扎给Alexandr Wang的职位叫Chief AI Officer，我觉得也非常说明问题。

我们可以这么说：假设10年以后小扎想退休，谁会接班？我认为大概率会是Alexandr Wang。

真的吗？你对谁的了解？

对Alexandr Wang的了解。我2018年在Cruise时就见过他。

那时他多大？

那时他还很小，还是个孩子。

我对他的理解是，他对机会极其aggressive、极其push，而且Scale的文化在硅谷是出了名的狼性。Scale可能是硅谷最狼性的公司。

我认为，对Alexandr Wang来说，问题不只是为什么Meta希望买Scale，大家还应该想一想，Alexandr Wang为什么希望卖掉公司。

Scale马上就要上市了，它的收入完全可以支撑上市。Scale如果上市，一定会有很大增长，我觉得3到5年之内增长10倍完全没有问题。

那他为什么放着10倍的钱不去赚，而是以大概相当于当前估值的价格，把公司卖给Meta？底层逻辑一定不是为了退休，也不是为了套现。

他是一个极其aggressive、极其有野心的人。

假设Scale现在估值300亿美元，之后增长10倍，达到3,000亿美元，那等于他把一家公司从300亿美元变成3,000亿美元，个人贡献是2,700亿美元。

如果小扎把他挖过去，作为Chief AI Officer，他把Meta从可能的1万亿、2万亿美元，推动到10万亿美元，他对公司的推动可能是8万亿、9万亿美元。

我认为他是一个极其追求个人价值实现的人。他看到了一个影响世界的巨大机会，这才是他愿意卖掉公司的底层逻辑，而不是为了钱。

300亿美元对普通人来说已经非常多了，但我认为，了解他是一个极其有野心、极其卷的人之后，就会知道他追求的不是这笔钱。

另外，小扎为什么希望买Scale？你看Meta后来的模型为什么没有得到很好的表现？因为Meta并不是Scale最顶级的前三大客户。

Scale后来越来越像是“你给多少钱，我给你什么服务”。如果你不是前三大的客户，Scale就会把最核心的数据生产人员锁定在前三大客户那里，没办法分配给你。

因此，Meta永远拿不到最好的数据，也永远没有办法训练出最好的模型。

第二，我认为Meta内部的AI人才组织能力一定遇到了一些问题，比如不够卷，或者整体效率存在问题。这时可能需要一个外来、更加卷的人帮助解决类似问题。

第三，AI是一件和人才高度相关的事情，而人才底层是relationship。

Alexandr Wang之前多次帮助客户，包括OpenAI、DeepMind和Meta，相互挖掘人才。因为他知道这些最好的客户是谁。

就像我现在服务硅谷最好的公司，我完全知道行业里最深、最核心的人才是谁。通过服务这些公司，我又取得了他们的信任。

我觉得这也是小扎看中Alexandr Wang的一点。为什么他一去Meta，马上就把很多核心人才一起挖过去了？本质上，他对Meta的贡献已经开始了。

合成数据目前还有什么瓶颈吗？

合成数据目前还是有一些瓶颈。

你最早问到的sim-to-real问题会持续存在。从第一性原理来说，合成数据和真实数据一定存在差异，因为一个是合成的，一个是真实的，必然存在gap。

但最核心的问题是，你要知道这个gap达到什么量级时，数据仍然有用；第二，你要不断减少这个gap。

如何知道gap的量级？你必须有一套sim-to-real能力，必须做全栈算法，也必须不断把机器人算法落地。只有这样，才能理解gap到底在哪里。

如果你只是一家合成数据公司，只负责数据，客户负责训练模型，那你永远无法知道gap在哪里，也无法提升它。

所以第一点，你必须具备随时知道gap的能力。

第二点，是通过整个技术栈中不同的手段去提升它。比如在real-to-sim，也就是从真实到仿真的过程中，如何增强从真实世界拿回来的信息的多样性和准确性；在仿真过程中，如何不断提升底层仿真引擎的能力；在sim-to-real过程中，如何提升泛化性和有效性。

这些都极其重要。

接下来聊聊全球具身智能产业链。如果让你画一张脑图，你会怎么划分？

我先从一个大的逻辑讲。

具身智能是一件极其难的事情。刚才我们也提到，它同时在发明下一代的车，也在发明这辆车上的L4甚至L5算法。

本质上，它是在同时发明两件事。任何一件事，我觉得都比特斯拉现在做的事情更难。

特斯拉第一没有发明车的平台，车是一百多年前就发明的东西。第二，它发明的算法是从L2开始的，而具身智能需要的可能是L4或者L5算法。

这就导致难度极高，也导致它必须进行产业分工。一家公司不太可能既发明一个平台，又发明完整的算法。

第一类公司是硬件公司，也就是发明机器人本身。

最核心的公司比如宇树。宇树特别好的一点，是把机器人面向了学术圈和研究圈，为国际上最核心的实验室提供具身本体，让它们做研究。

还有做灵巧手的公司，以及做数据采集硬件的公司，都属于硬件公司。

我认为最有代表性的硬件公司可能是宇树。它做得确实特别好，在国际上的影响力也很大。

它的核心优势在于，首先面向国际学术界。通过和学术界合作，国际上很多实验室发表的论文都基于宇树机器人。

这些学术界毕业生之后又进入产业界，把对宇树机器人的认知和使用习惯带过去了。

所以，宇树实际上奠定了大家使用机器人的一个标准。这是硬件层非常核心的一点。

第二类公司是foundation model公司，也就是基础模型公司。

有了硬件，就会有基础模型公司。最有代表性的就是Physical Intelligence。它是Sergey Levine和Chelsea Finn创办的公司，原来两位都在DeepMind。

他们呢现在更多的是基于真实数据为主这样的一个方案去打造一个基础模型，他们最有名的模型叫PaLM。他们希望未来基础模型可以服务硬件公司的落地。

另外还有Skild AI。Skild的创始人是Deepak Pathak和Abhinav Gupta，两人都是CMU教授。公司大概一个在匹兹堡，一个在湾区，最早拿的是红杉资本的钱，也融了不少资金。

Skild同样在做基础模型，而且非常强调仿真，也使用了大量仿真资源。

这两家头部公司对仿真的态度是不一样的。

对，不一样。

我刚才提到，PI现在内部已经强烈认识到需要仿真，一直在招聘仿真负责人，但目前可能还没有找到。

它为什么会处于这种状态？就是对外说仿真不重要，要用真实数据；对内又在招聘仿真负责人。

我认为PI是一家特别棒的公司，但它没有真正关注整个具身落地的事情。你可以理解为，它是两个教授打造的具身实验室。

他们真正追求的是找到具身算法和数据的配方，就是如何去打造Skin in Out的这个配方。这才是他们真正感兴趣的点。

他们并不太关心如何把公司推广、落地。因此，目前它没有怎么做硬件，也没有大规模部署和落地的规划。

而仿真一方面可能服务研究，另一方面更多是服务规模化落地。所以这件事在内部的优先级一直没有那么高。

但它吸引的人才都知道仿真很关键，所以这些人才不断反馈：“我们需要仿真。”否则PI可能也留不住人才。

因此，它现在开始比较严肃地招聘仿真负责人。我甚至预期，我的某个好朋友可能不久之后会去加入他们做仿真。

听起来，他们对仿真的态度并不坚定。

对，他们并不坚定。我认为，这会成为他们后续规模化最核心的问题。

仿真的核心还是帮助规模化，对吗？

没错。比如PI现在怎么采集数据？它其实用Airbnb租了旧金山所有的公寓，然后在里头去让人去采数据。你可以想象，这要花多少钱。

但本质上，这些公寓远远不够。它并没有真正想清楚规模化的问题。如果要规模化，就需要租更多公寓、采集更多数据。

合成数据很关键的一点，是它其实是两个东西的乘积：第一是多样化的场景，第二是高质量的人类示范。

我举个例子，大语言模型也是一样。高质量、多样化的场景，可能包括数学、计算机、编程、法律、医学等不同类型的数据。

人的示范，早期可能是让人提供模仿学习所需要的示范。但现在大语言模型的数据越来越多是由人制定一道题，再让模型用强化学习不断解题，看它能不能取得足够好的突破。

这有点像一个好老师。普通老师是在给示范，但最好的老师是在出题，引导学生不断提升、攻破难题。

具身智能也是一样：第一是多样化的场景，第二是高质量的人类示范。

多样化场景的核心问题是租赁成本。我要去酒店采集数据，要去饭馆、家庭采集数据，都需要租赁或者建设相应的场景。

现在大家看到的很多遥操作场其实有问题。它们更多是tabletop，在桌子上摆一堆苹果、壶、瓶子，然后反复用遥操作臂采集数据。

这种场景很单一。它可能会搭建一些类似宜家样板间的空间，但这类数据没有泛化能力。

如果真正要基于遥操作采集数据，就必须在足够真实、多样化的场景下采集。这样就会产生场景租金或者场景建设成本。

自动驾驶天然没有这些问题。

对，自动驾驶完全没有这些问题。那对于合成数据来说，它的优势在哪里？你刚才也提到，真实物理数据拿回来同样有场景建立成本。

合成数据的优势在于租赁成本特别低。

我可以并行地让100个人、1,000个人，甚至基于完全自动化的手段，在这些场景中生成数据。

租赁成本本质上就是算力。所以我认为，这是合成数据最大的优势：它具备高效规模化扩充高质量、足够符合分布的场景的能力。

刚才说的是模型层的公司，有PI和Skild。

对。另外还会有一类公司，我也把它放在模型层，但它更多是大厂的具身部门。

比如英伟达的Isaac团队，由Jim Fan和朱玉可带队；以及谷歌DeepMind的具身团队。我认为都属于基础模型层。

相当于大脑，对吧？

对，相当于大脑。

大厂在这方面其实很有优势。基础模型最终可能会用到10万张以上的卡，也会用到大量数据，还需要全世界最好的人才。

这三点结合起来，我认为大厂极其有优势。

第三类公司，是在垂直领域落地的公司，它会是软硬结合的公司。

第一个例子是Figure。Figure是一家做人形机器人的公司，更多是在垂直领域落地。它第一个落地点其实是主机厂，之后很可能会在亚马逊这样的电商履约中心落地。

当然，它现在也在讲家庭场景，但我个人认为其中可能有很多宣传成分。我更多把它定义为，在具体垂直场景下落地的软硬结合公司。

这类公司通常需要更好的软硬结合，因此可能自己打造硬件。一方面它们可能自己做模型，但更多会基于基础模型，再做fine-tune，然后在垂直场景中做sim-to-real和落地。

所以我觉得Figure是一个核心例子。

特斯拉的Omniverse我觉得也是这类。它更多依赖特斯拉的工业化场景，以及很强的硬件能力。

即使它使用基础模型，也很可能使用xAI的基础模型，而不是特斯拉自己的基础模型。

为什么？

你可以理解，xAI更多会是大脑，因为它拥有最多的卡，也拥有最好的算法人才。

而这个就是Omniverse这个团队可能更多的是一个垂域的软硬结合的、落地公司。

我很多朋友去了特斯拉，也有很多朋友从特斯拉出来。特斯拉的管理文化和PI完全不一样，它没有那么看重论文，很多人可能连论文都没读过，但它非常看重工程化落地。

它是一个极其自上而下的管理思路，是制造业的思路。

但它也会有很强的研发，只是不会那么自下而上，有点像OpenAI或者xAI那种算法研发方式。

对。

此外，刚才提到Figure，也会有其他公司。比如Cruise之前的CEO Kyle Vogt，以及特斯拉端到端自动驾驶负责人Paril Jain，他们一起创办了一家公司叫The Bot Company，做的是家庭场景的垂直落地。

它是软硬结合，做机械臂，然后在家庭场景中应用。后面可能还会有其他朋友出来创业，也都属于这一类。

硅谷现在还有一家比较火的新公司，叫Dyna Robotics。它的首席科学家Jason Ma，之前是UPenn的博士生，也是今年job market上的新星。

他们从机械臂在餐馆叠餐巾这样的垂直任务入手，做软硬结合，解决一类具体问题。

软硬结合能在美国做吗？是不是应该搬到中国来做？

我认为软硬结合在美国存在一些机会。

有些公司更多是利用中国的产业链，由美国公司提出需求，形成这样的软硬结合。有些公司，比如Figure，则更希望做全栈自研。

为什么会存在全栈制造的机会，包括特斯拉？因为美国制造能力比较弱，从国家战略角度来说，仍然需要有制造能力很强的机器人公司。

这样的公司不会太多，因为实在太难了。我觉得Figure和特斯拉可能是最核心的两家。

所以第一类是硬件公司，第二类是模型公司，第三类是软硬结合的垂直公司。

对。我认为一定还会有第四类，就是像我们这样的公司。

这类公司以仿真为中心，做端到端仿真：从real-to-sim，把真实世界的环境和物体在仿真里构建出来；到simulation，也就是底层仿真；再到sim-to-real，帮助算法落地。

以仿真为中心，首先使用仿真，配合少量真实数据，并基于基础模型和硬件，做端到端落地。

所以我认为，后面这类公司也极其关键。整个行业可能会存在这四类公司。

除了你们，还有谁属于最后这一类？

目前我认为最核心的还是我们。

当然，最近你可能也关注到Genesis。它是一个非常棒的自研仿真器，创始人是周贤，核心创始人还有贾真，他们的指导老师甘创也都是我的好朋友。

他们最近刚融了1亿美元，是一家以仿真为中心、仿真优先，打造具身智能的公司。

这是你们的竞争对手吗？

我觉得不算竞争对手，合作机会可能更大。

因为在这个产业里，大家第一要务还是让仿真成功，让整个具身智能产业成功。

在刚才的四个分层里，现在融资最多的是谁？

应该是模型层，最吸引资金的也是模型层。

大家肯定看到了OpenAI这样的机会，当然还有Figure。现在最多资金进入的，应该就是这两类公司。

Figure这块的话，它上一轮的估值应该是三十个billion，就是三百亿美金的估值。其实相当相当的高。

这两年具身智能整个赛道，大概有多少资金进来？你算过吗？

这个我还真没有算过。

但现在，具身智能肯定是硅谷和国内最吸引投资人的产业之一。AI和具身智能都很受关注。

你说的大模型？

对。尤其在国内，大模型可能没有那么容易吸引投资人。

对比一下美国公司和中国公司。

我认为美国存在模型层的机会，因为美国文化非常强调行业分工。

举个例子，英伟达这么成功的一家公司，会把很多机会留给整个产业。它会打造一个ecosystem，也就是生态。

比如自动驾驶，它做芯片，也做一些全栈解决方案，但它并不希望把全部解决方案都拿下来，而是希望开放给很多产业使用，同时打造自己的解决方案。

我认为，这是因为整个产业链最终能够获得的收入非常高。

比如OpenAI通过模型推理给美国用户提供的价值很高，美国用户也愿意付费。你使用GPT的Premium版本，一个月可能要200美元，但仍然有很多人愿意付费。

国内在token和AI推理上的付费能力相对低，大部分大模型还是以免费方式服务用户。

自动驾驶也是一样。特斯拉每个月有很高的订阅收入，Robotaxi也可以提供自动驾驶出租车服务，收取比较高的费用。

比如从旧金山打车到硅谷，可能要花100多美元。国内不可能收这么高的出租车费用。

所以，美国最终能够从AI中拿回来的收入很高。但国内的付费能力相对有限，因此更多强调端到端服务客户，做大而全的公司。

国内商业模式可能更多是卖硬件。因为国内对软件没有很强的付费文化，所以你会发现国内公司更多集中在硬件，以及围绕硬件的软硬结合。

这一类公司里，有几家做得很好，比如智元、宇树等。

那大脑的问题怎么解决？你指的是国内吗？

对，国内的大脑公司，我觉得银河通用可能是其中一家。未来很多公司都会做大脑。

比如字节拥有很大的算力储备，也有很多AI人才，我认为它很适合做大脑。小米、理想这样的公司，后面也很可能希望做大脑。

当然，国内公司也可能和国际公司合作，使用很多国际基础模型，比如使用PI的基础模型，再基于自己的垂域数据和合成数据做fine-tune，最后基于自己的硬件落地。

这很可能是一种模式。

现在具身智能公司非常多，国外有，中国也有。这些公司的技术路线有什么核心区别吗？

我认为它们很可能殊途同归。大家说的可能是一套，但真正做出来的东西差别不会太大。

目前大概有几类路线。

一类是非常纯粹的真实数据路线，以遥操作为主，更多是模仿学习。采集大量数据，通过遥操作采集，然后做模仿学习，最后再做少量强化学习。

另一类是以仿真为中心的路线。

但我们服务了很多客户以后，越来越发现，大家底层可能都会follow一个数据金字塔，英文叫data pyramid。

数据金字塔是朱玉可，也就是英伟达Isaac团队的co-lead、德克萨斯大学奥斯汀分校教授提出的概念。

金字塔底部最大，顶部最小。模型训练使用的数据，底部可能是互联网数据，中间是合成数据和仿真数据，最上面是真实数据。

它主要是为了解决真实数据不足的问题，尤其是具身智能的数据问题。

现在我们很多客户和合作伙伴，都是硅谷和国内最顶尖的公司。合作下来我们发现，大部分客户内部真正使用的都是数据金字塔，无论他们对外具体怎么说。

当然，在此基础上，大家对强化学习的重视程度不同。

有些客户仍然主要做模仿学习，因为他们要做demo。比如在开放场景中，一个柜子、一个货架，可能通过遥操作教很多次，demo效果就已经很好了。

还有一部分客户非常强调强化学习。现在我们服务的少量国际顶尖客户，正在做的是用强化学习fine-tune VLA。

这确实是很少量的客户正在做的事情。

他们对合成数据的想法现在大致一样吗？也是殊途同归吗？

我认为越来越殊途同归。

我们服务过很多客户，他们在公开采访时可能会说：“我们不相信合成数据，合成数据有毒。”但实际上，我们也服务不少这样的客户。

因为如果你真正follow最新、最好的国际科研论文，并且自己把合成数据和真实数据混合起来做co-training，再去训练、落地，一定会得到更好的效果。

这已经是最核心机构的共识。当然，在具体比例上用多少数据做强化学习，使用什么算法架构，可能还不一样。

这是完全可以预期的，因为具身算法架构和数据方案还没有完全成熟。但在大的逻辑上，我觉得已经足够成熟了。

我听说黄仁勋就很关注合成数据。

对，他首先非常关注仿真。

我当时在英伟达时，黄仁勋在内部说过一句话：“NVIDIA is a simulation company。”英伟达本质上是以仿真起家的。

最早它是图形学公司，服务游戏。游戏本质上也是一种仿真，只不过大家解决的是不同类型的仿真问题。

游戏服务的是人，要足够炫、足够有意思，提供足够好的体验。现在则可能服务物理AI、机器人和自动驾驶，需要足够准确，真正服务机器人在真实世界落地。

目标不同，但底层逻辑其实很像。

另外，从英伟达角度来说，黄仁勋一直在讲“there is a three-computer problem”，也就是三个计算机的问题。

第一个计算机是数据中心的计算机。这个市场英伟达已经拿下来了，数据中心和超算中服务大语言模型的计算机，基本都是英伟达的。

第二个计算机是端侧计算机，也就是物理AI，比如汽车、机器人、无人机所需要的芯片。

第三个计算机就是simulation，也就是仿真。

黄仁勋既然把它们称为三个计算机，就说明他认为仿真计算机的市场会和前两个市场相当。这会是一个万亿到十万亿美元级别的市场。

他为什么不自己做这件事？

他正在做。英伟达的Isaac Sim是目前整个行业使用最多的具身仿真器。

你去看仿真这件事，其实有四个部分。

第一是physics solver，也就是物理仿真引擎；第二是rendering，也就是渲染；第三是sim-ready assets和sim-ready场景，也就是具身仿真的资产和场景；第四是API，也就是整套framework和工具链。

英伟达在2000年代收购了一家公司叫PhysX。PhysX是现在全球最核心的底层物理引擎之一。

Isaac Sim搭建在PhysX底层之上。英伟达还有Omniverse，也就是服务工业级仿真的平台，并且搭建了一套很好的渲染管线。

所以，Isaac Sim底层使用PhysX物理引擎，渲染使用Omniverse，这两个是它在具身智能领域很大的优势。

谷歌很早的时候收购了一家公司叫MuJoCo。MuJoCo也是现在全球使用最多的具身仿真器之一。

它是一家英国公司，创始人最早都是华盛顿大学的同学，后来去了英国，创立了物理引擎公司。

MuJoCo的核心是PhysX solver和上面的API，但渲染一直没有做好，因为它不像英伟达那样愿意花很多功夫做渲染。

现在全球最好的两个仿真器，可能就是Isaac Sim和MuJoCo。它们之后会越来越统一到一个仿真器上。

为什么？因为Isaac Sim使用的底层PhysX有些年久失修。它最早服务的物理需求并不是具身智能，而是游戏。

为了服务具身智能，它需要花很多时间优化。而且代码是基于CUDA写的，理解和维护都比较困难。

所以，英伟达会基于MuJoCo底层的physics solver重新写一套，使用英伟达的Warp，也就是GPU加速语言，重新写底层物理引擎，叫MuJoCo Warp。

MuJoCo Warp之后会并入英伟达的物理引擎Newton，Newton会成为下一代物理引擎。

MuJoCo团队之前写的是MuJoCo，但它的问题是运行在CPU上，而端到端强化学习需要大量GPU。

他们之前利用JAX这种GPU加速语言重新写了一遍MuJoCo，叫MJX，也就是MuJoCo JAX。

但我和很多朋友都不太喜欢JAX这个语言，也没有多少人愿意继续用JAX维护MuJoCo。所以MuJoCo团队也希望之后使用MuJoCo Warp，也就是和英伟达联合开发的底层引擎。

未来，底层物理引擎会越来越向Newton演进，也就是英伟达和MuJoCo共同开发的物理引擎，而且它会完全开源。

从我们的角度，我们基于Warp写了大量底层物理引擎，也是这个生态中非常重要的一部分。我们可以同时给两边贡献代码。

所以，这会形成一个以开源为中心的具身仿真生态。

我有一个疑问。合成数据对于大模型有帮助吗？

有帮助。一个是对具身大模型有帮助，另一个是对自然语言大模型有帮助。

对自然语言大模型来说，现在GPT-5最大的数据量一定是合成数据，因为互联网数据已经被基本穷尽了。

现在Anthropic和OpenAI最核心的技术投入，都是合成数据技术。

某种程度上，你完全可以理解为GPT本身就是一个合成数据生成器，它不断生成自然语言。

另外，大模型也包括VLA这类模型。这类模型会使用更多三维数据、机器人视角数据、多种传感器数据，以及带机器人轨迹的数据。

这正是现在具身合成数据最核心的内容。

游戏数据对合成数据有什么帮助？

游戏数据也有帮助，但它更多是在预训练阶段发挥作用。

预训练阶段需要足够多样化的数据，但质量不一定特别高。你可以理解为，游戏不只是跨本体，游戏其实是跨世界、跨宇宙。

我认为终局模型应该是cross-universe、cross-embodiment，也就是跨宇宙、跨世界、跨本体。

人进入游戏以后，仍然可以玩这个游戏。但如果把现在训练的机器人放进游戏里，它可能不会玩，因为它从来没见过这样的场景，差距太大了。

为什么人可以？因为人的泛化能力足够强。

DeepMind现在训练很多基础模型时，也使用了大量游戏数据。它让游戏agent在不同游戏中产生第一视角的游戏数据，再把这些数据放进大模型，提升模型跨宇宙、跨世界的能力。

这很有意思。他们花很多钱去收购一些已经不太火的游戏？

对。很多游戏公司真正火的可能只有几款，大部分游戏并不火，也没有多少人购买。

这时就会出现一个市场：DeepMind这样的公司可以从游戏公司购买这些不火、但能够锻炼机器人的游戏，提升模型跨宇宙的能力。

为什么要提升跨宇宙能力？我认为本质上是提升agent的泛化性。

人放到游戏里也会玩游戏。所以底层逻辑是，提升跨宇宙能力，也能让模型在真实世界中有更好的泛化能力。

未来具身机器人和大模型可能会完全趋近。比如，把具身机器人扔到火星上，它也应该能够操作。

这个有点太远了。具身智能产业整体还处于非常早期的阶段，对吧？

对。我认为具身智能产业可能还处在GPT-1的阶段，还没有达到scaling law，也就是还没有找到可以规模化发展的配方。

怎么定义scaling law？现在找到没有？

它有点类似特斯拉的FSD。

在FSD出现之前，特斯拉不断增加数据，并没有让算法不断提升，它遇到了瓶颈。

当特斯拉真正把端到端打通以后，才发现数据越多，算法提升越明显。这就是一个核心的scaling law moment。

具身智能现在还没有得到这个moment，还没有找到“我从这个点往后规模化增加算力和数据，就会不断提升”的节点。

所以你觉得这个行业有很大泡沫吗？

目前我倒不觉得是泡沫。虽然现在处在比较早期的阶段，但不代表还要花很长时间才能找到这个点。

从自动驾驶出现到FSD出现，可能隔了10年。但这不代表具身智能还要再等5年、10年才能找到规模化的scaling law。

因为具身智能现在的founding team，也就是创始团队，优秀程度远远高于当年Waymo、Cruise创始团队的平均水平。

再举一个例子，Andrej Karpathy是极其强的人，但他并不是很早就加入特斯拉自动驾驶团队。

特斯拉自动驾驶团队最早可能是David Nistér等人加入，后来也走了一批人，团队换过好几次。最早还使用过Mobileye的方案。

直到Andrej Karpathy出现，特斯拉自动驾驶团队成立几年以后，才有了这样一个大神级人物。

但现在看具身产业，很多公司一开始就具备Andrej Karpathy这样的大神。

比如PI的Sergey Levine和Chelsea Finn，都是全球最优秀的科学家。英伟达的朱玉可和Jim Fan也是非常优秀的科学家，都是李飞飞的学生。

DeepMind人才济济。国内很多公司的创始团队也相当优秀。包括刚才提到的Skild，创始人一个是Deepak，一个是Abhinav，都是特别特别棒的科学家。

所以，虽然具身智能现在处在相对早期，但很可能一两年内大家就能找到scaling law，因为现在的人才密度远远高于早期自动驾驶。

目前资本关注度也远远高于当年，而且具身智能还得到了很多大模型的insight。

特斯拉为什么找到了scaling law？不是它自己突然想通了，而是它的核心团队从GPT那里得到了很多insight。

他们发现，只要scale Transformer、scale数据、scale算力，这件事就能做成。

这个核心信念，在早期自动驾驶时代并不存在，直到大家看到GPT-2之后，才逐渐形成。

所以从各方面来看，我认为现在非常promising。乐观一点说，一两年内找到具身智能的scaling law，完全有可能。

但现在多模态还没有scaling law，只有视觉。

我觉得还好。自动驾驶本质上是一个端到端系统，也包括视觉，我认为它已经完全达到scaling law了。

对于physical AI，也就是物理AI，我个人仍然比较乐观。

另外，关于泡沫，我看到的一个问题是，大家过分关注融资，过分关注融了多少钱、拿到什么估值，却没有关注progress。

最核心的是，这个行业需要大家关注自己的progress。

我不是说融资不好，而是融资可能造成团队文化错配。

当一个团队的focus是不停拿到新的钱、不停拿到新的估值时，它会做什么？它会关注出去演讲、做demo、吸引投资人。

从强化学习的角度看，它把这些事都当成了reward model。

所以我认为这不是一个很健康的状态。

从我们的角度来说，我比较相信，公司从第一天开始就要服务someone else，也就是给别人提供服务，并且拿回真正的收入。

这笔钱应该是别人对你提供价值的肯定。这是更正向的reward model。

你不断强化自己给别人带来的价值，通过价值让团队feel good about it，再驱使自己沿着不断取得progress的正确路径走下去。

你现在创业是什么感受？每天都很兴奋吗？有没有遇到什么坎？

每天都很兴奋，坎也遇到了很多。

最早创立公司的时候，人才等各方面都花了很长时间才集齐。

你是一个人出来创业的吗？

我的联创是我的高中同学，我们俩是同班同学，之前也一起创业过。

我是一个说干就干的人，行动力很强。Cruise的CEO当时叫我“execution machine”，所以我非常强调执行能力。

我比较相信的一条信念是：你要先自己跑起来，跑得足够快，才能把周围的人带起来。这大概就是我们不断创业的节奏。

最早创立公司时，需要convince everyone，因为当时国内还没有“合成数据”这个词。

我觉得国内最早使用“合成数据”这个词的就是我们。那时有人叫生成数据，有人叫合成数据，也有人叫仿真数据，现在大家都叫合成数据。

最早使用“合成数据”这个词的是我们。

最早服务自动驾驶时，第一步其实很难。我们可能花了6个月时间，才真正有效服务第一个客户。

在公司内部做和在外部做完全不一样。你有很多接口，也有很多问题，包括如何快速拿回反馈。

当你还没有提供价值时，别人可能不会给你任何反馈。所以如何真正提升质量，是一个很核心的问题。

我们花了6个月才发现问题在哪里，进而提升质量、服务客户。

什么时候有第一个客户？

应该是2023年9月或者10月。我们是2023年1月创业的，付费客户大概是那个时候。

种子客户其实比较早，但付费客户非常难，更难的是对方愿意持续复购。

所以我觉得，现在具身智能产业的一个核心问题可能是没有客户。

有demo，但客户可能是投资人；没有正向客户每天不断敲打你，这是一个很核心的问题。

我们的优势是被敲打惯了。最早服务自动驾驶时，客户可能说你的数据效果不好，后来效果逐步变好，客户也逐步喜欢我们。

我们服务的是国内最卷的自动驾驶行业，而且能够有效给他们提升价值。这件事难度极高。

之后再跳到具身智能，确实有一定不确定性。

我们的使命和vision是服务具身智能，但一开始可能没有人在做具身，后来有人做了，我们又花了很长时间才找到客户是谁。

你们找到的第一个客户是海外的还是国内的？

海外的。

怎么找到的？

还是靠个人关系和不断尝试。

我有很多仿真经验，很早就希望用自动驾驶仿真的经验去教具身智能一些东西，所以并没有特别希望从零开始学习具身智能，总觉得自己已经懂了。

这导致我眼中的具身智能仿真和数据问题，和实际问题完全不一样。这个认知调整花了我很长时间。

后来我把自己放到一个足够谦卑的状态，重新以从零到一的状态学习。我把自己当成一个小白，先从具身智能本科生开始学。

我约了很多北大、清华具身智能方向最优秀的本科生，和他们、他们的女朋友交流学习；再约他们的博士生，再通过博士生约导师；然后和硅谷最优秀的具身智能从业者交流。

我逐步发现问题在哪里，重新定义产品来服务他们。

聊了多少人？

大几十个人肯定有，也看了很多论文，从零到一学了很多具身智能的东西。

这个过程对我帮助巨大。我认为一定要有空杯心态，一定要有从零到一学习的心态。

某种程度上，我们非常幸运。我们通过自动驾驶合成数据和仿真锻炼了团队，整个基础设施、团队执行力和团队文化都从那里发展起来。

自动驾驶仿真和合成数据有一个核心特点，就是规模化做得特别好，对质量的管控也做得特别好。这些能力后来都可以服务具身智能。

但另一方面，本质上自动驾驶是一个低位问题，具身智能是一个高位问题。低位问题的成功经验并不一定能够指导高位问题。

所以一定要有空杯心态，从零到一学习具身智能。

你是从零到一进入这个行业的吗？你之前在自动驾驶圈，这两个圈的overlap大吗？

现在overlap很大。有很多自动驾驶从业者进入具身智能，而且做得比较好。

美国有英伟达、特斯拉，国内有智源等公司，都有不少自动驾驶背景的人进入具身智能。

进入这个行业难吗？

进入具身智能产业，最难的是第一个客户。

但一旦做了几个客户，把竞争优势培养起来，我觉得就不难了。

对我们来说，我们的优势是什么？除了我们之外，没有另外一个竞争者。

为什么没有竞争者？

不是因为我们的解决方案特别牛，虽然我们的解决方案确实很强，技术也确实很强，但最关键的是，其他人甚至不知道需求是什么。

这才是最关键的。

当客户有了我们的解决方案以后，他没有必要再和别人讨论需求。我们是通过和博士生、教授聊天找到需求的。

这些教授很多都在具身智能公司，或者自己创办了公司。我认为这就是最核心的一点。

现在我们的优势是，除了我们之外，大家都不知道需求是什么。

这里的需求不是泛泛的数据或仿真需求，而是里面的一些核心问题，以及核心标准的定义。

当然，我们下一步也不满足于维持现状。

如果我们只是全世界第一的具身仿真厂商，或者具身合成数据厂商，这还不能满足我们的预期。

我们希望成为全世界具身仿真的标准。

如我所说，具身仿真首先需要成功。刚才你问到的质量问题，每一个仿真都应该是高质量的，能够最终达到sim-to-real。

第二，具身仿真应该是accessible的，最优秀的研究者都可以获得足够好、足够成功的具身仿真。

这是我们的使命。

要实现这一点，我们必须成为标准，引领大家一起加入，共建这个标准。

这就是我们正在做的事情。我们也会有更多开源项目，和全球最好的大厂、科研部门共同推广这套基于仿真的标准。

你怎么认识华东的？他是你的第几个投资人？

他应该是第三个投资人，是华东主动来找我的。

我觉得他特别棒的一点，是他非常founder-friendly，也很了解具身智能产业。

他和很多人聊过以后，发现合成数据和仿真是核心关键，而且当时只有我们一家在做，背景和能力也足够强。

那时候我们主要还在做自动驾驶合成数据，还没有真正做具身智能。他问我：“你会不会做具身智能的合成数据？”

我说我一定会做，只是当时行业还比较早，需求还没有出来。但需求出现时，我会是第一个进入的人。

我很感谢他给我们信任和投入，让我们真正实现了现在的成果，也让我们在国际具身智能圈里真正own住了这个需求。

除了他，还有谁是主动找过来的投资人？

基本上都是主动找过来的。

我们第一个投资人是辰韬资本。当时他们听说我要从蔚来离职创业，那时我们还没和任何投资人聊，他们就主动来找我，给了我们钱。

第二个是陆奇老师，也是主动找过来的。

还有无限基金的王玉老师，以及华东，都是主动来找我们，包括我们现在正在close的后续几轮投资人。

我们的看法和其他公司可能不太一样。我们认为核心是make progress，为了AGI不断推动progress，真正给大家交付价值。

这是我们最引以为豪的点。

融资方面，我们确实在融资，但没有把融资当成特别大的投入。我们比较幸运，这样的思路反而让真正有慧眼的投资人主动来找我们，省去了很多时间。

两边的合作也都特别好。

最后问你几个快问快答。全球范围内你最喜欢的食物？

羊肉串挺好吃的。

全球范围内你喜欢的地点？

夏威夷。

一个少有人知道、但必须知道的知识点。

分享一个insight。我觉得大家对仿真有很大误解。

大家一提到仿真，就会想到仿真器，然后说仿真器有问题，所以必须是一家做仿真器的公司，才能解决仿真问题。

但你会发现，仿真器公司都没有多么成功。

仿真不等于仿真器。仿真器就是刚才提到的物理引擎。仿真还包括渲染、sim-ready资产和场景，以及后面的API和framework。

仿真器其实是最里面的一层。历史上的仿真器经常是闭源的，迭代周期很慢，所以价值很难传导到仿真器这一层。

因此，真正做仿真器的人相对比较少，但仿真器又会给大家带来神秘感，于是大家认为一家仿真公司首先一定要做仿真器。

但我们的核心insight是，我们反而最后才做仿真器。

因为我们认为，仿真不成功，第一个问题是具身智能没有足够高质量的资产和场景；其次是framework和API；最后才是仿真器。

当然，现在我们已经把全栈都做好了，也有很多底层仿真器的自研能力。但我觉得，这仍然是一个比较不同的insight。

基于你读过的所有书，推荐两本必读书。

我比较喜欢看书。一本是《三国演义》，我特别喜欢历史。《三国演义》可以教给我很多战略和策略方面的核心问题。

第二本是关于乔布斯的书。我特别喜欢乔布斯，最核心的一点还是stay focused。

基于你当下的认知，一个最关键的重要bet是什么？

核心bet就是，仿真一定会成为整个具身智能落地最核心的关键点。

每个人对仿真的认知不同，或者说belief不同。我的belief是full conviction，也就是完全相信。

只有完全相信，才有可能真正推动它成功。

因为我完全相信，所以我认为很多事情都是事在人为。

举个例子，在马斯克做电动车之前，大家可能都认为电动车不会成功。马斯克并不是比别人多掌握了更多分析信息，而是他对这件事有很强的信念。

同时，他又是这件事的核心主导者，所以他认为事在人为。

如果一个人有很强的信念，又是核心主导者，就有可能把大家认知中的现实变成另外一个现实。

电动车最终成功了。

我认为自己肩负着这个信念，也认为自己有能力真正让大家最终获得真实的价值。

你之前听过我的播客吗？

听过。

对哪些印象比较深？

我很喜欢陈建宇老师那一期，因为他分享了很多论文，以及具身智能领域的研发进展。

我也很喜欢你和广密聊的那几期。我觉得广密对大模型底层，以及硅谷很多核心、最新的深层认知，有很好的coverage。

好啦，这期节目就是这样。如果你喜欢我的节目，欢迎前往小宇宙、苹果 Podcast、喜马拉雅、QQ 音乐订阅《张小俊商业访谈录》。如果你有其他想邀请的嘉宾、想听的内容，或者你有任何想探讨的话题，都欢迎各位听众朋友们在评论区里留言。那我们下期再见，拜拜。