# E206｜临近机器人GPT-3时刻，具身智能开源模型的加速演进 硅谷101 · 2025-09-09 · 71 min · https://www.youtube.com/watch?v=FjC9qGPC7MA ## 逐字稿 泓君 欢迎收听《硅谷101》，我是泓君。上一期节目我们预告了《硅谷101》全球创业挑战赛。我收到了好多听众的来信，大家说有没有今年《硅谷101》科技峰会的报名链接。现在我就把我们的购票链接放在了 Show Notes 当中。去年我们的活动是半天的时间，今年我们就把活动升级成了整整一天，有上下两层的会场与大家相聚。在我们今年的活动中，我们邀请到了全球顶尖的科学家、投资人、创业者，他们有些甚至是第一次在现场跟大家去分享一些最新的研究成果与行业洞察。除此之外，我们也会聊一聊《硅谷101》内容创作幕后的故事，还有我们自己对 AI 工具的应用与思考。因为这是一个面向全美的活动，所以我给《硅谷101》的粉丝申请了一个 85 折的折扣码，大家可以在购票的时候输入“valley 101 fans”这个折扣码，我也会放在 Show Notes 当中。另外我们会在评论区抽取三名听众，给大家免费赠票。因为我们的活动在硅谷线下，所以我们也会优先硅谷的听众。欢迎大家给我们积极留言，期待与大家线下见。好了，下面就请收听我们今天的节目。 今年除了 AI Agent，另一个热点就是机器人。今天我们请来的两家公司，都是做机器人“大脑”的。一家叫 Physical Intelligence，可能硅谷的朋友对这家公司会非常熟悉，业界简称它为 PI，也被称为机器人赛道的 OpenAI。他们今年陆续推出了两个机器人大模型：π0 和 π0.5。 另一家公司是中国的自变量机器人。在我们播客发出的时候，它应该刚刚开源了自己的具身智能大模型 Wall-OSS。跟 PI 一样，它同样关注并重点优化机器人模型的泛化性。这期节目我们就从模型层，来关注整个机器人赛道的进展。之后我们还会陆续推出节目，关注机器人的硬件、灵巧手，以及投资方向的进展，欢迎大家持续关注。 今天欢迎我们的嘉宾，来自自变量机器人的 CTO 王昊。哈喽，昊，你好。 王昊 哈喽，大家好。 泓君 还有一位嘉宾，是 Physical Intelligence 的研究员，同时也是 π0 与 π0.5 论文的作者柯丽一鸣，她的英文名字叫 Kay。哈喽，Kay，你好。 柯丽一鸣 大家好。 泓君 欢迎大家。不然两位先简单介绍一下自己，然后在介绍的时候讲一讲，为什么自己会选择机器人的赛道。女士优先，怎么样？ 柯丽一鸣 好，我就先开始。我本科学习的是经济学，当时往咨询这个方向稍微探索、发展了一下，但是一直觉得自己想要解决一个问题，而且发现我的性格比较懒惰，所以就对编程很痴迷。因为编程相当于是在虚拟世界里做自动化：如果我可以写一行程序解决这个问题，为什么要写十行程序？ 在我看来，机器人就是物理世界的自动化。如果我可以一次性把很多物理任务放到里面，一次性解决，就不需要再多费功夫。所以随着职业发展转了几个弯，最后就去读了机器人的博士。博士期间做了一些把机器学习应用到机器人的研究，毕业时很幸运地加入了 PI 这样一个很好的平台，继续探索这个方向的前沿。 王昊 哈喽，大家好，我是王昊，来自自变量机器人。我的技术背景是机器学习和大模型，博士学习的是计算物理方向。毕业之后就一直在做机器学习和大模型。 大概从 GPT-3 出现、2021 年左右开始，我就加入了大模型的研究。我们在大模型技术上一次又一次地发现，这项技术越来越清晰，所以我们也是最早一批做出国内百亿级模型的团队之一，也是最早做多模态模型的团队之一。2022 年，我们做了全世界最早的中文文生图模型，以及之后发展起来的各种多模态基础模型。 过去我们做大模型、大语言模型和多模态模型，依赖的互联网数据其实都是静态数据。我们一直感觉到，这种数据都是在人类以秒级或者厘米级感知的尺度上产生的。做了机器人之后，我们发现，在微观尺度下，那种真实、复杂、连续、动态的物理过程，数据其实没有被记录下来。这也是我真正选择机器人赛道之后，发现它和过去的大模型最大的不同。 对我们来说，这确实是一个全新的挑战，因为这里涉及硬件、数据和模型的全栈结合。但是非常幸运能够进入这个赛道，是因为具身智能确实代表了 AI 的下一个前沿。 泓君 特别好。你刚刚讲的这一段里，有很多内容都是我非常想展开的。其实我们的播客在 2023 年聊过机器人领域的进展，但是那个时候，整个机器人领域的模型还非常少，主要是以谷歌为主。今天我觉得已经出现了很多机器人的模型。 两位要不要说一下，你们认为在整个 2025 年，机器人模型领域最重要的突破是什么？ 柯丽一鸣 我大概搞机器人有七八年了。机器人大模型的红火，我觉得也是最近两三年才开始集中性爆发的事情。一开始在我自己的研究中，并没有很多用到大模型，更多是做一些小而精的任务。 当时会发现，一套方法在一个场景下解决了特定问题。虽然这个问题很难，做出来的效果也不错，但是很难、很便宜、便捷地复制到新的问题上。所以我在探索大模型的过程中，最大的惊喜就是发现模型的通用性得到了很大程度的验证，可以开始做一些泛化和性能提升方面的探索，才真正能够讨论机器人大模型的可能性。 我觉得现在这个领域，比起两三年前，大家对这条技术路线的信仰要浓厚得多。 王昊 今年有一个非常明显的现象，我觉得体现出了应用上的指数效应。这背后的驱动力，其实也来自通用机器人基础模型的发展和进步。 2023 年以前，大多数时候我们专注在单个任务上，把它做到极致。但现在有了一个统一的基础模型之后，我们能够同时学习并执行成百上千种不同的任务。这也意味着我们的优化目标变了，重心放在提升整个模型在所有任务上的平均成功率。 这也是我刚才提到的指数效应的基础：我们现在真正可以开始做复杂的长程任务。这是一个非常令人惊喜的现象。 泓君 我总结一下大家刚刚提到的关键词，一个是机器人模型泛化能力的探索，另一个是复杂的长程任务。 这样说听众可能会觉得有一点抽象。大家可不可以举一个例子？比如以前有哪些任务是机器人做不到的，或者一个场景以前只能完成一个特定任务，现在可以迁移到其他场景了？ 柯丽一鸣 2024 年 PI 发布 π0 的时候，就是想推动这种能力。其中最有代表性的任务之一，可能就是我们最开始发布的叠衣服。 叠衣服这个任务，在机器人界已经研究了十几二十年。大家一般说人工智能下围棋很难，就喜欢说围棋的复杂度很高，因为棋盘和棋局不一样。其实在日常生活中，叠衣服这种对人来说很简单的小任务，具体复杂度可能在于衣服上有两个褶、三个褶，或者某个地方褶皱的角度不一样。对机器人来说，这些可能都是新的情况，它需要解决这么多不同的情况，才能完成任务。 同时，叠衣服有很多不同的步骤，要先叠什么、再叠什么，顺序也很重要。这种复杂的细分情况和序列性，使得这个任务在以前比较难解决。 2025 年我们也开始探索不少泛化能力。比如把 π0.5 放到一个移动机器人上，再把这个移动机器人放到不同的、没有见过的别人家里，看看它在这些从来没有见过、也不在数据集里、模型不知道会怎么反应的地方，会怎么做。 我们发现它还是比较有希望的。不能说它做得完美，但它好像展现出了某种类似人类的能力：拿一个东西。其实你到了别人家，还是能够拿东西的，关键在于它拿的是哪一类东西。 泓君 因为叠衣服的话，衣服都是柔软的布料。但如果让机器人拿起一个杯子、一个碗，它的理解是不是完全不一样？ 柯丽一鸣 是的，这一类问题在机器人内部术语里叫抓取问题，因为它要结合物体具体的形状、摆放的位置，甚至靠近物体时的角度，这些都需要考虑。 抓取问题既简单又不简单。比如同样是一个水杯，在两个不同环境中抓到它，这也是一种泛化：至少它能在不同背景下抓到这个杯子。或者杯子放在了不同的位置，形状看上去差不多、材质看上去差不多，但需要的策略不一样。 再进一步，彻底泛化以后，可能就是我告诉你“拿杯子”，你去了一个新的家，拿了一个完全不一样的杯子。这里面有层层递进的测试。 泓君 所以 π0.5 比 π0 的进化，体现在你刚才提到的——让它去一个新的家里，它依然能够适应这种环境。但它做的任务是不是也有一些局限？它的任务迁移表现在哪些任务上？哪些任务还不可迁移？它的规律是什么？能不能跟大家简单解释一下？ 柯丽一鸣 我们开始推进 π0.5 的时候，想的就是泛化，强迫自己去收集不同的数据。但“不同”其实没有那么好定义，所以我们做了一个决定：把机器人放到外面去。 实际上在做这个工作的过程中，我们会发现，不知道要收集多少个不同房子的数据才算到头。我们得一边收集、一边检验：今天又收集了 3 个房子的数据，这是不是有帮助？如果收集了 30 个都没有帮助，是不是要开始怀疑这条路能不能走通？ 但当我们收集了那么多不同房子的数据之后，最后训练出来的模型，在后续工作中做验证时，发现它确实有比较强的泛化能力。在同一个环境下验证 π0 和 π0.5，可能表现差不多，但 π0.5 在一些新的环境、新的泛化情况下会更好。 当然，它也有很多局限性。π0.5 并不是说放到任何新环境里，都可以很好地完成任务。具体落地的性能上，还是有很多提升空间。 泓君 那你们觉得，机器人模型在研发过程中，大家聚焦泛化问题时，最难的环节是什么？是因为数据量还比较小，还是算法的问题？技术上最困难的点在哪里？ 王昊 其实还是我们对物理世界长尾效应的鲁棒性。比如环境光照、视觉误差，这些都可以通过更好的传感器、更强的算力、更好的生成模型来做数据合成和数据增强，从而得到缓解。 但真正的难点在于，我们没法预期那些无穷无尽、完全没有在训练中出现过的 corner case。核心困难就是物理世界本身有无限的可能性，而且很多情况没有办法被提前标注，也没有办法提前让机器人学习。 比如机器人执行任务时，桌布上有一个小褶皱，杯子可能放置不稳，或者有一个透明物体反光，刚好干扰了相机。这些微小的物理变化，人类可以凭直觉和丰富的经验瞬间适应，但 AI 大模型非常依赖数据驱动，面对这些新挑战时，不一定能够真正感受到。 另外，在长程任务上，很多微小的长尾物理扰动会造成微小误差，这些误差最后可能像滚雪球一样被放大。每一步的误差积累到最后，可能直接导致任务失败。 所以问题就变成了：我们怎么让模型真正解决这些无法包含在数据里的 corner case？核心还是要构建能够理解物理常识、具备物理直觉的模型基础，让它拥有空间理解和空间推理能力。 我们可能依赖机器人真实数据，也依赖人类视频数据，要把这些数据合在一起，用更大规模、来源更丰富、质量更高、更多样的数据，让机器人在学习过程中理解这些物理过程。但海量、真实地与世界交互的高保真数据，又是目前比较稀缺的。 这并不意味着疯狂地在现实世界采数据就结束了，事情远没有那么简单。它不只是一个数据量的问题，而是一个数据工程和数据管线的问题，其中也包括如何降低数据采集成本。 泓君 Kay，你觉得最难的地方在哪里？ 柯丽一鸣 难点挺多的，可能一个最难的不太够，得说两三个。 昊刚才说的长尾，我觉得是难点之一。从研究角度来看，这反映出测试一个机器人模型的表现非常难。大家看新闻时，经常看到哪家公司发布了一个新的大语言模型，在某个榜单上变成第一名。 但在机器人界，过去数十年来一直没有办法在真机世界里做出这样的榜单，没办法非常客观、公正并且可重复地告诉你，在某种情况下模型 A 比模型 B 的表现更好。 做榜单的难点，和刚才昊说的问题有很大关系。一个模型可能在某些地方表现好，在其他地方表现不好。你要包含多少种不同情况？如果还要包含各种边边角角的情况，那就无穷无尽了。这个榜单究竟要放进多少东西？ 同时，如果想做真机榜单，如何维护这些真机，真机的细节会不会影响模型表现，也都要纳入考虑。因此到现在，机器人业界发表论文时，很多时候都是自己既做作者又做测评官：我开发了一套算法，觉得它在这个任务上比之前的一些方法好。 这在某种程度上使得领域发展慢了一些，因为你真的很难分辨模型 A 和模型 B、算法 A 和算法 B 到底哪个更好。尤其在最理想的情况下，一个特别好的模型表现应该非常明显地好，但真实世界往往是“菜鸡互啄”。你今天对模型、数据、东西或者算法做了一些改动，看上去好像改好了，但怎么验证呢？这对于日复一日的研究来说，是一个困难。 据我所知，业界肯定有不少人在探索用模拟器，或者做一个第三方的、像打擂台一样的东西。我觉得这也是大家开始解决这个难题的一些探索。 泓君 之前我看中国有机器人运动会，还有首届机器人展会。机器人在里面表现出了很多能力，比如踢足球、赛跑，以及完成一些具体任务。怎么样去评判一个机器人技术是好还是不好？从这些 demo 上能看出来吗？ 王昊 我觉得比较困难。这也是我们做机器人、做具身领域的同行都感到的一个难点和痛点：很难有一个统一的评测标准，让大家不用付出很高成本，就可以评测模型结果，而且能够比较公平地评测。 这可能是具身智能的难点，因为它天然和现实世界绑定。最好的评测就是到现实世界去评测，但我们又很难搭建一个公平的决斗场。 不过仍然有一些办法可以评测。比如我们有一批开源模型，大家可以在自己的机器人本体上，看不同模型学习相同任务时需要的数据量，以及它展现出的泛化能力和推理能力。 另外，对于不同机器人公司来说，比较合理的方式可能是把模型应用到一个具体场景里，看不同模型的表现怎么样。这可能相对公平，因为在真实世界应用时，模型展现出的多样性和泛化性，以及环境的随机性，最能体现模型能力。 泓君 我刚刚说到难点，Kay 你提到了第一点，还有两点是什么？ 柯丽一鸣 刚才昊也提到，数据的质量和数据的数量，在 2025 年依然是鱼和熊掌不可兼得的事情。 如果想要非常高质量、对模型特别有用的数据，就需要精心设计、勤勤恳恳地清洗。大语言模型训练对数据质量也很敏感。机器人的数据都是自己收集的，先收上来，再做清洗，这些细节都要到位。一旦对细节有追求，上量可能就会有些难度。 所以我们需要的是又多、又好、又快的数据，才能让模型变得更好，但实际上这些都没有那么简单。 最后一点，做机器人，尤其是大家现在还在努力做真机机器人，一定是因为对机器人行业很有热爱。大家应该都知道，真机机器人的硬件维护是很劝退的，尤其是对新人。 我看到很多人开始研究机器人时，会发现没有那么好的、拿来就能用的机器人。不像纯软件行业，你可以下载一些代码直接运行。到现在，机器人依然没有一个大家都非常认可、都愿意拥抱的硬件平台。甚至硬件应该长什么样，业界到现在也还在争论和探索。 我觉得这些客观条件，给我们的研究和整个领域设置了一些门槛。 泓君 你说到这个，让我想起我有时候会和一些机器人研究员一起聚会。大家聊到白天在干什么，常常说一天什么都没干，在修手、拧螺丝，因为手不太稳定。 柯丽一鸣 是的。我刚开始读博的时候并不是做机器人，以前做的是理论和机器学习。当时觉得自己很年轻，就想，整个机器人项目怎么会用这么长时间？我也来做一做。结果一做就发现，天天都在拧螺丝。 泓君 刚刚我们提到了数据的问题。其实我觉得数据也是很重要的一块。昊，我知道你们的模型有数万小时的多模态数据积累。Kay，你刚刚提到 PI 的模型，说你们需要采集高质量数据，自己收集、自己清洗。这里稍微纠正一下，我觉得这并不只是 PI 的模型需要高质量、大量数据，这可能已经是行业共识了。 基于大语言模型的成功，大家都知道模型对数据质量比较敏感。所以你们的数据是自己采集的，还是第三方公司采集的？行业里会有专门的第三方公司提供数据吗？ 柯丽一鸣 我们有很多自己采集的数据。 我倒是认识一些朋友，他们自己创业，为机器人提供真机数据，但这可能不是我们现阶段研究的重点。 泓君 你觉得多少数据可以构成一个优秀的大模型？ 柯丽一鸣 我在这件事上有一个比较大胆的观点。之前我经常和朋友聊天，也很好奇大家怎么看。我会想，如果一个人的一生假设是 100 年，粗略计算大概是 100 万个小时。 在我目前能够接触到的范围，或者我看到的公开信息里，好像还没有人拥有一个 100 万小时的数据集。我猜想，什么时候我们能够收集到 100 万小时、等同于一个人一生的物理经验数据，可能才刚刚开始后面的探索。 如果之后真的能够把机器人广泛部署到真实世界，也许有一天，收集 100 万小时的数据只是几天的事情。 这也来自我和一些做语言、图像或音频生成的朋友的吐槽。他们动手就很豪气：今天要做这个任务，给我来 400 万小时的数据，明天收，后天洗。我说，400 万小时数据，机器人做了多少年，好像还没有这个量。 泓君 为什么你的判断是 100 万小时？我还蛮感兴趣的。以前我们说，一个人要做好一件事情、成为某个领域顶级的学者或专家，有一个“一万小时定律”。 包括我们去看小朋友是怎么学会吃饭的。我家有个宝宝，他很小的时候拿着勺子，把饭送到嘴边，其实经常喂不准。最开始小孩吃饭，都会洒得满地都是。然后你看他努力地把饭送到嘴里，每天练习这件事，也是一件很励志的事情。 但我们说，为什么机器人要训练出这样的灵活度，可能就需要比人大得多的数据量级？这个问题我有一些很粗糙的想法，也很好奇昊会怎么看。 你可以看到，PI 自己在做研究时有一个重心，叫跨本体迁移。我们希望在不同形状或类别的机器人上收集的数据，能够让一个新的机器人更快学会一个任务。 粗略地说，我觉得这可能和人的基因、天生的躯体有一些关系。我们生下来就已经有一个非常好用的感知器——眼睛。现在也没有哪一台照相机敢说自己能够对标人眼，大家都在往那个方向努力。还有我们的关节，以及这些物理身体天生具备的东西，我觉得都是人的行动力基石。 我个人比较相信，我们可以用算法上的优势，去弥补一些硬件和人的不足。但罗马不是一天建成的，也不能指望机器人马上就像宝宝一样学得这么快。机器人如果要快速学会新任务，之前还是得有非常多的积累。 刚才昊也提到，在 PI 我看到很多某个任务、某个机器人上收集的数据，其实可以帮助新的任务做得更好。新的任务也许就不需要那么多数据。我觉得我们的努力方向，最终就是达到那样的效果。 昊，你怎么看数据问题？ 王昊 其实和人相比，对机器人来说还是太不公平。核心是人其实有预训练。整个生物界在大规模进化过程中，有两个非常核心的不一样。 一是在进化过程中，人积累了大量和世界交互、物理认知有关的经验。很多应对物理世界的策略，其实都写进了基因里。 另一方面，人也在不停进化自己的硬件。整个生物界非常明显的一点是，能不用智能解决的事情，就尽量用硬件解决。很多生物体都会进化出一些结构。比如大肠杆菌可能不用长眼睛，只需要对化学和温度敏感的感知，就可以适应周围环境。 我们现在正在做的事情，就是帮助机器人做预训练模型。看起来我们要覆盖人类进化的整个几亿年的时间，但其实也有不同。 第一，机器人可以大规模复制，不同机器人之间可以共享经验。这样我们就能快速构建所谓的机器人预训练模型，让它具备对物理世界进行感知和理解的能力。当然，这个过程也会让机器人越来越熟悉自己的身体。 刚才 Kay 也讲到跨本体泛化。我们需要让不同机器人适应不同身体，并且让它们互相感知身体之间的不同，这一点非常重要。 其次，人的学习和所谓一万小时定律也有很多不一样。人不会在一定时间内专门学一个任务，比如用一万小时学完一个任务，再用下一个一万小时学新任务，并不是这样。 观察宝宝会非常明显。你开始教宝宝做某件事，比如拿一个东西，他可能非常困难，精确度不够，也抓不准，于是可能把东西扔到一边就不管了。他在这个过程中可能去玩别的事情，比如玩玩具、搭积木。过一个月你再回来，会发现他这个月并没有专门学习那个任务，但他已经会了，而且执行精度很高。 这体现出人在和环境交互的过程中，实际上也是并行多任务学习。他可以从不同任务中学到底层共同的物理结构，而这种共同的物理结构，会帮助他在学习新任务时减少数据量。 所以现在我们训练机器人也是一样：用尽可能多样、覆盖各种能力的任务，构建大的数据体系，构建机器人的能力。它在学习新任务时，需要的数据量也许就会大大减少。 我们刚才说为机器人定义百万小时，核心就是解决两个问题。第一，覆盖人类长时间进化形成的预训练过程，需要通过多样数据帮助机器人构建基础能力。第二，在学习新任务时，利用它在大量旧任务中形成的通用能力，泛化到新能力上。 所以这件事在数据量和时间长度上可能不能完全类比，但我觉得这种学习历程，以及背后反映的规律，可能是一致的。 泓君 我很好奇，在真实世界里，你们自己采集到的数据量大概有多大？训练一个模型，整个数据会占到多少成本？我主要是想知道，数据到底有多贵。 柯丽一鸣 在 π0 的时候，我们做过一个比较简单的统计：π0 使用的数据，其实比谷歌研究院之前公布的几项数据加在一起还要多。 即使 π0 发布时，PI 还是一家刚刚成立不久的年轻初创企业，我觉得这说明了两件事。第一，那个时间点采集的数据量确实非常大；第二，之后其实也一直在持续增加数据。 数据的成本和数据量都在实时变化。最早的时候，谷歌研究院的团队刚开始探索，可能要花很大功夫才能收集到这些数据。后来他们逐渐积累了经验，更多人也有了经验，PI 收集、其他公司收集都会越来越简单，成本应该也能够得到控制和降低。 泓君 你们现在使用合成数据多吗？我知道业界很多公司都会使用合成数据。前几周谷歌发布了 Genie 3 世界模型，我也听到了两派不同的观点。 一派认为 Genie 3 对机器人有很大帮助，因为世界模型生成的数据是有用的；另一派则觉得数据质量还不够好。 柯丽一鸣 我觉得可以分成两个问题：一个是我们之前做了什么，另一个是对整个领域来说什么东西有用。 π0.5 后续应该有一篇论文，探讨我们训练 π0.5 时的一些考量。其中提到，我们在 π0.5 中引入了一些网络数据。严格意义上不知道这算不算合成数据，但确实是希望通过引入外界各种各样的知识，给它一种通用和通感，而不是直接告诉机器人应该做什么、应该执行什么动作。 至于合成数据这件事对领域究竟该怎么发展，我觉得现在还没有清晰定论。有人认为，如果能够大批量生成低成本、可控，并且对机器人有用的数据，那会非常好。但现在一个比较大的困难是，怎么样生成这些数据，以及怎么样证明它有用，这仍然是很前沿的研究问题。 王昊 现在头部机器人公司的数据量，受真实物理世界的限制，可能都集中在几万到几十万这个范围内。但和训练 GPT-4 这种级别的语言模型相比，数据量还是少很多。 除了现实世界的真实机器人数据，我们也会使用其他类型的数据。但每一类数据都有自己的问题。机器人的真实数据当然比较贵，需要机器人硬件、场地和操作员，收集速度也是制约因素。 在这方面，大家有很多改进空间。可以使用成本相对较低的机器人本体，甚至做一些不完全是机器人本体、但带有传感器的穿戴设备来采集数据。 我们也会使用合成数据，实际上用了很多生成模型。但合成数据主要解决的是视觉上和现实分布之间的差异，可以起到缓解作用。不过它很难生成带有物理交互过程的数据，这类数据还是要来自现实世界的采集，这是一个困难。 还有一类数据是人类视频数据，规模非常大，多样性也很丰富，成本相对较低。我们和很多公司都在积极探索这方面。但这些数据什么时候能够真正帮助机器人生成动作集，仍然很困难。 现在从视频数据里学到的，可能更多是动作意图。模型可以从人类视频中学习高级语义理解和任务规划，只不过这种规划是通过视频而不是语言来学习的。 包括 Genie 3，我觉得它是一个非常好的工作。它从互联网，核心是从游戏环境里学到了大量高质量数据，通过视频生成的方式，既可以生成视频，也可以做一些动作控制。未来这会是一个很好的方向。 虽然游戏环境相比现实环境有所简化，但它仍然可以部分地作为训练环境，帮助模型进行交互。所以在数据上，我们还需要做大量工作。 我相信数据投入在每家公司里的占比都不一样，这取决于公司的综合实力、运营能力、硬件水平，以及对数据的规划。不同规划会让数据成本不一样。 中国和美国在硬件成本、人力成本上可能有比较大的差异。即使在同一个地区，运营能力，以及能否支持数据采集自动化、模型运行、数据过滤、清洗、任务生成和分发，都会影响数据成本。你要去不同场景采集数据时，场景的快速搭建、恢复能力，也都会影响成本。 泓君 所以你们公司的数据成本，和其他机器人公司相比，大概处在什么水平？ 王昊 这其实很难在不同公司之间比较，因为大家对数据质量和多样性的要求可能不一样。但对我们公司来说，数据肯定占整个研发成本中相当大的比例。 泓君 好的，了解。昊，在我们的播客发出时，你们的 Wall-OSS 开源模型应该正好上线。要不要跟大家简单介绍一下，你们的开源模型是什么，以及它有什么行业特点？ 王昊 我们这次也是持续发扬开源精神，同时吸收了很多经验。我们用了大概几万小时的真实世界数据，训练了这样一个具身基础模型。 它在统一框架下，既可以做思维链，也可以生成动作。我们基于已经训练好的视觉语言基础模型进行扩展，让它具备比较强的视觉理解、空间推理和多语言指令遵循能力，同时动作生成精度也比较高。 这是我们观察到目前具身开源模型上比较欠缺的一些能力。我们希望这次开源能够对具身智能形成比较好的补充，让大家更好地使用这样的基础模型去做长程任务、解决复杂任务。 要天然解决长程任务，就需要更好的语言遵循能力，以及更好的空间和因果推理能力。我们也希望端到端的推理、规划和动作执行模型，可以发挥更好的作用，被社区真正用起来。 泓君 所以你觉得你们模型主打的点是什么？行业里各家做模型的方向其实还挺不一样。有些专注于精细操作，比如谷歌的模型很擅长折纸；PI 更希望有强泛化能力。 如果用一句话总结你们的优势，你觉得你们最关注的点是什么？ 王昊 在机器人领域，我们最关注的是机器人的泛化能力，以及解决长程任务的能力。 解决长程任务也意味着它一定要有比较强的泛化能力，因为任何一个长序列任务，背后面临的都是变化的场景。任务可能遇到各种失败情况，也可能遇到各种没见过的操作对象，所以都需要很强的泛化能力。 泓君 我记得刚刚你提到，机器人要解决一些长而复杂的任务。长而复杂，能不能给大家举一个例子？ 王昊 我们真正把机器人用到任何场景里，任务都是长而复杂的。比如完整地把一张餐桌收拾好，就是一个长而复杂的任务。 现阶段，这是因为要操作的对象种类很多。你可能要操作硬的东西，比如餐具；也可能要操作液体，比如把食物残渣和流体倒到固定的位置；还要处理很多不规则物体，比如垃圾和残留物。 机器人需要理解整个过程，因为不同东西要放在不同位置，还要小心处理，避免洒出来。除此之外，还有很多柔性物体需要处理，比如擦桌子、把毛巾折叠好。 即使是收拾餐桌这样的任务，里面也都是长而复杂的环节。它在执行过程中并没有一个固定顺序，不是先做什么、后做什么，而是在一个长程任务里把各种子任务穿插起来。 人其实很难划分每个任务的边界是什么，所以这种任务需要模型端到端地自主决策、实时规划，把整个任务完成。 泓君 刚刚你提到了倒垃圾的场景。你们实验室里实际训练机器人、观察机器人表现时，训练的是什么场景？ 王昊 我们实际训练还是以家庭场景为主，也包含其他一些场景。但家庭场景基本已经包含了具身智能需要解决的所有任务。 比如收拾整张餐桌、布置餐具、收拾整个卫生间、收拾房间，这些都是我们的训练任务。我们也实实在在地看到，机器人在处理这些长序列闭环任务时，体现出的操作能力和算法能力，还是让我们信心大增。 我们也希望借助这个开源模型，让大家更多看到现在的基础模型在解决长程任务、面对泛化场景时所体现出的能力。 泓君 我注意到，不管是 PI 还是自变量，大家都在做开源模型。能不能讲一下，为什么想做开源？开源对整个生态有什么好处？ 柯丽一鸣 我觉得能够和业界、社区分享这个模型，并且最好能够帮助大家快速上手，也是在变相降低机器人模型研究的入门门槛。 其实在公司内部，开源也是一个过程：决定要开源之后，抽调大家把刚刚发表的代码重新构建，再做测试，然后和社区的人沟通，看能不能跑起来。这并不比一般的工作简单。 但如果真的看到模型在一些我们自己都没想到的机器人上跑起来，或者别人拿它做很多不同实验，还是很开心的。我觉得现在这种开源氛围很好，大家都很乐意开源。 泓君 我看得出来你很热爱机器人。昊，你怎么看？ 王昊 开源一直以来都是非常重要的事情。第一，很多时候我们可以站在巨人的肩膀上继续前进，可以基于别人已有的成果做更多改进。 社区反馈也会帮助做开源的公司吸取经验，把技术路线思考得更加深入。对于一般高校研究或者一些小型企业来说，它们可能没有能力去做基础模型，但可以快速使用这些基础模型做应用，把它用到各个方向，这也是非常重要的事情。 我觉得 AI 研究和大模型之前有很大不同。过去研究非常离散，在真正形成社区之前，可能就是两三个人疯狂做一个算法，以论文发表作为第一要务，争取占据技术主动权。 有了社区和整个开源体系之后，大家更在乎的是，怎么在工程化体系下把工程技术搭好，怎么让这个生态更加繁荣，以及如何通过不同方式给社区做贡献。荣誉反而来自这些事情，这也会促使技术不断向前发展。 所以我觉得开源是一件非常好的事情。我们既可以从开源中学习新的东西，也可以看到自己开源的东西对别人有所帮助。 泓君 现在模型公司判断一个模型好不好，核心因素是什么？刚刚我们提到，大家在比拼自己采集的数据质量。同时我知道，在模型层面大家也有很多不同的技术路径，比如是不是用高频控制，是不是采用 System 2 加 System 1 的双系统架构。 大家要不要聊一下模型层面不同的技术路径，以及你们看好的方式？ 王昊 从自变量机器人的角度来说，我们非常相信数据驱动的端到端模型搭建方式。我们马上要开源的 Wall-OSS，也是基于这样的架构构建的。 不管有多少模态，不管是语言、视觉还是动作，都应该在同一个空间下被表征和对齐。分层对它来说是一个非常不利的因素，所以我们应该尽可能避免人类分层带来的信息损失。 但另一方面，既然端到端训练，模型可以做得很大，可以做到几百亿甚至千亿参数的具身模型。真正使用时，不可能在端侧需要高频控制的场景里部署这么大的模型。 所以在推理时，我们反而觉得模型可以拆开：更慢的任务过程放到云端处理，更快的物理过程放到端侧。让它们端到端训练，能够通过一次梯度回传更新整个系统参数，这个过程非常重要。 泓君 我们说两层架构的模型，有一点像人脑的大脑和小脑：一层负责理解和规划，另一层负责高频输出和控制，类似于大脑掌管认知与决策，小脑掌管运动控制。 但为什么你们不用这样的架构？能不能跟大家解释一下？ 王昊 我们采用的是端到端训练。你可能很难在模型内部把某些参数完全分成 System 2，也就是慢系统，再把某些参数分成快系统、直觉系统。 但我始终可以训练出一个非常大的端到端模型，让它具备很强的具身通用能力。这种能力既包含理解和推理，也包含动作生成。 实际部署时有很多方式，比如把擅长动作的部分蒸馏、压缩出来，把擅长语言推理和视觉推理的部分放到云端。利用类似方式，在部署和推理时做很多优化。 训练时它仍然是统一架构，推理和控制在训练时是在一起的。 泓君 Kay，你们是怎么做的？ 柯丽一鸣 我们现在还是非常开放的态度。我们觉得，机器人大模型还没有达到类似 GPT-2 的阶段，希望能够尽快达到那个水平，但现有模型和表现仍然有一些差距。 所以大家抓住的最重要的信仰，可能就是数据和数据驱动的算法，这是我们最看重的东西。但具体怎么设计算法、如何搭建模型架构，甚至硬件系统怎么设计、数据怎么收，我觉得一切都是为数据驱动服务的。 到底是把推理和控制分开做成两个系统，还是端到端地完全放在一起，反而不是现在最重要的问题。可能几种路径都可以，因为现在整个机器人模型领域的技术路线看起来还没有统一。 泓君 这句话非常有意思。我刚刚还和一个学弟吃饭，我们聊到，从三四年前开始合作到现在的人，都会感到整个行业发生了变化。 以前学术界更加分散，大家的方向、想法、算法，以及关注的问题都非常不一样。而现在自从 VLA，也就是视觉—语言—动作模型出现以后，随着它的流行和很多人的跟进，我们反而觉得现在有些趋同。 你觉得趋同表现在哪里？从哪些不同方向变成了同一个方向？这个“同”指的是什么？ 柯丽一鸣 模仿学习算是一个。我是 2018 年开始做模仿学习的，那时候没有很多研究，也没有很多真机研究可以参考，会觉得这是一个不那么主流或大众的想法。 2018 年是什么情况？我想想看，当时是不是已经看到波士顿动力在跳了？这个跳毕竟是人形机器人，即使到现在，直接用模仿学习可能也是一个比较难的挑战。 还有很多其他方向，比如传统方法。大家一般会开玩笑说，60 年代机器人就把人送上月球了，又朝着火星去了，这些都是成功的机器人方法，后来直接变成火箭学科了。只有我们这些还没搞明白怎么把机器人做成功的人，还在这里搞机器人。 所以过去有一波又一波的探索，包括 2000 年左右自动驾驶的探索，以及后来以波士顿动力为代表的人形机器人探索。2000 年初还有 Willow Garage，它也是美国机器人学术界比较有名的一家公司。当时他们主推一个叫 PR2 的机器人，算是移动机器人、但不是人形机器人的老祖宗。 从之前那个时代来看，我会觉得大家的研究方向非常不一样：有人做人形，有人做车，还有人做手，分散在机器人行业各处。 现在确实因为大模型的兴起，通用性被强调，很多人开始想能不能把这些东西融合在一起。这算是一个非常有意思的趋同化发展。 泓君 但我看到现在整个业界，如果从创业方向来看，大家又有很多不一样。比如有足式机器人，下面是腿，可以自己走路；还有轮式机器人，可能更注重手部操作，走路部分用轮子滚就可以了。 很多公司也在想，能不能让机器人上半身和下半身同时操作。因为很多机器人要么擅长上半身，要么擅长下半身。但整体上，大家可能都想把模型做得更大、功能做得更通用。 柯丽一鸣 我觉得“同”可能是，很多原来针对不同形态、不同机型使用不同方法的人，现在都非常开放，愿意尝试视觉语言大模型。而且上半身、下半身其实 π0.5 做的差不多就是这件事。 泓君 刚刚 Kay 觉得现在整个机器人模型还没有达到 GPT-2 的水平。我不知道昊怎么看这个问题。 王昊 我认为已经到 GPT-2 的水平了。 如果类比的话，GPT-1 基本上是概念验证：通过预训练和增加数据，可以处理一些任务。但到 GPT-2 的时候，我们开始验证规模化的力量，通过大幅增加模型参数和训练数据，展示规模化带来的能力提升。规模再做大一些，可能就能到 GPT-3，看到能力涌现。 所以我觉得现在就是 GPT-2 阶段。我们基本上已经知道，规模化是唯一可靠的路径。接下来就是在这个阶段疯狂积累数据、提升模型规模，同时搭建真实具身的基础设施。 泓君 你觉得机器人领域从你定义的 GPT-2 到 GPT-3，大概还有多长的路？需要多长时间？ 王昊 现在谈机器人领域从 GPT-2 到 GPT-3，和语言模型有一个不同之处。 当时做语言模型时，大家不知道这条技术路线是否真的能走通，所以中间产生了很多分散式探索，再经历汇聚的过程。但现在我们已经明确知道这条路，而且看到了规模化带来的提升。 所以对我们来说，路径和目标更加明确，也更加唯一。我的预测是，在 1 到 2 年的时间里，我们完全可以达到 GPT-3 的水平。 泓君 1 到 2 年，还挺快的。 我注意到美国的趋势，我们聊机器人时，大家其实都想做通用机器人，再朝超大规模模型、至少是大模型的方向发展。理想情况下，如果类比自动驾驶，美国上来就想做 L4、L5 级别的自动驾驶。 但中国的发展方向，我感觉还是有很多小而精的创业路线。就好比中国做自动驾驶时，首先可能会想，能不能先在一个园区、一个码头把场景落地，做一个非常垂直、小而精的产业，更注重类似小模型的落地。 我不知道大家怎么看机器人这两种方式。因为做小模型的落地，也可以积累数据。你们觉得这两种方式在产业发展上最终会有什么不同？哪条路径能跑出来？ 王昊 我觉得要结合中美各自的优势来看这个问题。 美国现在的路径确实是自上而下的：不计成本，先做一个接近 AGI 的超大模型，有了这个基础之后，再去思考应该怎么做。这也是因为美国在算力上有优势，最顶级的芯片和最大规模的算力集群都在美国，所以它更倾向于用无限算力去探索能力边界。 中国在芯片上确实有一定限制，这也倒逼中国的研究机构和企业思考，如何在有限算力下实现更高效率。 但说中国现在走的是小而精的技术路线，我不完全同意。中国拥有全球最大的互联网生态和移动应用场景，在硬件方面也拥有非常完善的产业链，这些可能是美国无法相比的。 国内顶尖的研究机构和很多优秀创业公司，其实也在从第一性原理的角度深刻思考 Scaling Law，深刻理解它是通往 AGI 的必经之路。我们坚信，必须有一个强大、无所不能的基础模型，才有可能把它用到各种垂直领域，实现更高效的部署。 但这个过程不能反过来，必须先有大而通用的基础，才会有小而精的发展。 国内更像是上下结合、双轨并行：一方面尽可能多地考虑场景，尤其是通用泛化场景可能带给我们的东西；另一方面不断迭代通用基础模型的能力。这样可能才能更快让机器人在现实世界获得更好的反馈。 现实世界的部署，正是商业闭环和数据飞轮的开始。 泓君 所以你个人也是想做通用模型的？ 王昊 对，我们一定会做通用模型，这是非常重要的。 柯丽一鸣 我觉得现在两边各自的生态环境，有很多历史因素。 一方面，国内经历了经济高速发展，很多创业成功都是因为公司活下来了，有商业化能力，能够把事情做好。这促使国内创业者从解决问题、满足用户需求出发，因此有很多人愿意深耕垂直领域。 我之前还在网上看到过除草机器人，爆杀欧美家庭。我看完以后还向朋友推荐，觉得它非常擅长做商业化的事情。 同时，中国的制造业摆在那里，而机器人确实有很大的硬件需求。在国内针对商业需求做硬件，这个优势在现在这个阶段基本很难想象还有谁能比得过中国。 因此在国内的生态里，很多人的创业是一边保证商业成功，一边做技术探索，这是很容易理解的。 而美国这边，之所以我在毕业那一年比较幸运，是因为如果早两年毕业，我当时很多做机器人研究非常优秀的朋友都转行了。他们去做大语言模型、强化学习，或者做一些机器人能够锻炼到的技术，但并不是做机器人本身。 与其说美国有很多公司一直在做大而通用的模型，不如说是这个时代恰好在 2024 年前后，涌现了一批相信这条道路的人。这个机缘很多也归功于 OpenAI 把大语言模型做通之后，给整个行业带来的反思和震撼。 直到现在我们加入 PI 时，和他们聊天、决定要不要去，我还在想：你们做人形机器人吗？如果做人形，要烧很多钱吧？道路怎么走？商业化怎么走？公司怎么活下来？ 所以从商业化角度来说，这并不是一件很明朗的事情。这些公司能够在这样的时机成立，并且有人相信它们也许能把事情做成，我觉得非常难得。 在这样的公司出现之前，美国工业界其实有很多机器学习应用公司。其中比较有名、也和我们公司渊源颇深的一家，就是 Covariant Robotics。这是伯克利一位非常有名的教授创立的公司。 我觉得这些人的创业经历，启发了后面很多人的想法。因为在外界看来，Covariant 深耕了一个商业化方向，所以商业可能做成了，但通用性可能没有做得那么好。 而我们公司最大的目标既然是做通用、做数据驱动，就会比较小心地避免做一些短期商业项目。历史因素最终导致了现在这样的公司生态，但一个公司毕竟还是要活下来，这样的情况确实很少见。 泓君 我理解 Covariant 更多是做灵巧手，而不是研究模型。 柯丽一鸣 这件事有点好笑。因为他们刚刚起步时，创始人 Pieter Abbeel 作为机器学习和机器人领域的领军人物，也表达过他们想把机器学习机器人带到现实生活中、做到通用。 因为这是机器学习给予机器人的一个机会。当然，他们可能在物流领域做得太成功了，现在大家记得他们时，已经是另一种形象。 所以他们内部其实也在研究通用解决方案和模型层的方案。我相信在早期应该有过这方面的探索。毕竟他们开始做的时候，没有多少人知道机器学习在机器人上的应用能做到什么，他们肯定做过一些探索。 现在很多人也是受到他们经验的启发，才选择走今天的路线。 泓君 所以你觉得在机器人落地过程中，如果把模型比作大脑，把手比作类似神经操控的部分，你觉得是大脑的研发更难，还是操控更难？ 柯丽一鸣 都很难。每天起来都在想，为什么这么难，这个问题怎么这么难。 但每个人可能都有自己的信仰。你的信仰是什么？ 我是一个懒人，我希望一件事情做一遍，就不要让我再做第二遍。如果一个问题可以通过某种巧妙的方法规避，我会觉得这种规避方法很好。 我博士期间做的研究，都是围绕如何用机器学习，让一块不那么精确的硬件做到非常精确，达到超毫米级别的精确。这个硬件只是一个通用硬件，是为了方便组装而制造出来的，但能不能通过算法的力量赋予它一些原本做不到的能力？ 算法和数据结合起来以后，我在博士期间验证过，这样的系统可以用筷子夹住一个小球，让它在空中稍微飘动一下。这个动作轨迹甚至不一定能被摄像机捕捉，但确实可以通过算法的力量做到。 所以我的观点可能就是，不管黑猫白猫，抓到老鼠就是好猫。什么东西简单我就做什么。如果确实需要非常复杂的硬件、需要一只复杂的手才能完成任务，那就没有别的选择，我们就上。但生活中有很多事情不需要那么复杂的硬件也能解决，探索这些方向同样很有价值。 泓君 我觉得这是非常好的观点。我注意到，在 π0 和 π0.5 模型中，你们强调了 50Hz 的连续控制。早期谷歌的 RT-2 是离散 token 控制。 能不能跟大家解释一下，整个大模型的高频控制中，50Hz 连续控制代表什么？离散 token 模型控制又代表什么？为什么这是一个巨大的进步？ 柯丽一鸣 高频控制在过去的机器学习机器人应用里是一个默认选项。以我自己研究期间为例，几乎用的都是 100Hz 到 200Hz 以上的控制频率。 当时伯克利这个流派因为出现了一些泛化和图像方面的需求，我记得他们做抓取任务时，会频繁使用大概 5Hz 到 20Hz 的频率。所以一直都有很多人在探索不同频率。 我并不觉得 50Hz 很高频。PI 当时采用 50Hz，我记得内部有过讨论：要不要再高一点，或者再低一点？但对我们来说，更重要的是希望模型一次输出一个大约 1 秒的计划。1 秒刚好是 50 步，所以选择了 50Hz。 在早期探索中，可能也有人做过一些比较简单、确定性的研究，看看换一个频率会有什么影响，最后发现这个选择还不错，就一直这样使用了。 一次生成 50 步的计划，其实涉及一些技术挑战。模型对场景的认知还没有人那么好，观察力有限，对历史的记忆力也有限。 假设一个人有健忘症，他可能经常不知道自己之前在做什么、接下来要做什么，动作就会比较慢。我们在机器人身上也能看到类似效果。因为现有架构和算法的限制，模型需要把这一瞬间的所有信息收集起来，马上做一个决策，而这个决策不一定最优。 如果它能够在这一瞬间做出接下来 1 秒的决策，反而可能是实际表现更好的选择。这就是 Action Chunking，也是斯坦福的一项工作，让大家从人类数据学习时获得了效果提升，所以现在逐渐成为行业标准。 泓君 我大概跟听众解释一下离散 token 模型和 50Hz 连续控制，看一下我的理解对不对。 离散 token 模型，比如转方向盘，机器人给一个指令“向右转”，过一会儿它向右转，这是一个动作，然后执行这个动作。 如果是 50Hz 连续控制，比如在坡路或者不平的路面上，可以连续、慢慢地转，保证车辆在平稳过渡的过程中。 柯丽一鸣 我觉得“离散”这个词放到机器人语境下，确实有很多解释。把它理解成一种低频控制也可以：做出一个决策之后，我把眼睛闭上，执行这个决策。 另一种可能就是非常高频地实时观察世界变化，并且马上做出反馈。 实际上，现有的大模型应该大多都是 50Hz 左右。如果频率太低，毕竟每个机器人里的全栈也是层层叠加的。很多最底层的控制器都有 1000Hz。大模型输出可能是 50Hz，甚至 10Hz，然后再连接到最底层的高频控制。 每个人的选择、每家公司的技术栈可能都不一样。 泓君 昊，你怎么看高频控制？包括你们自己是怎么做的？ 王昊 高频控制天然和大模型有一点冲突。当然，我们可以通过很多推理优化技术，让模型推理达到很高的频率，但 50Hz 到 60Hz 基本上已经是现在端侧大模型能够达到的推理上限。 比如百亿到几百亿参数的大模型，推理压力非常大，对算力要求也很高。但控制频率本身其实不是最重要的，核心还是模型在预测什么，或者模型想输出什么。 如果模型预测能力越强，对未来判断越准确，那么在需要的控制频率上反而不需要那么高。模型频率和控制频率之所以要很高，是因为模型对未来的预测能力或建模能力不够强，只能即时看到眼前发生的事情，做出很短的动作。 视觉表征尤其如此，因为操作非常依赖视觉输入。视觉现在比较大的问题是，很难对未来做比较精确的预测和建模。我们目前主要的视觉基础编码器都依赖静态数据，是从静态图片里学出来的，所以视觉对运动的理解、对未来运动的预测都比较弱。 要加强模型预测能力，可能需要加强视觉预测能力，提升模型对未来建模的准确性。这样一来，对控制频率的要求就可以低一些。 泓君 这里说的视觉是指什么？比如我现在举起一个水杯，能不能准确地把它放在桌面上，找到桌面并把它放上去，这叫视觉吗？ 王昊 对，这就是完全通过视觉观察完成的任务过程，可能不依赖触觉。 触觉的发展，包括硬件成熟度，以及能够在机器人上部署的数量，仍然有限。这部分数据还需要进一步积累，才有可能达到视觉数据的规模，进入基础模型，成为主要传感来源。 泓君 那力反馈，也就是触觉这一部分，如果现在没有力，机器人在抓取上会出现问题吗？ 王昊 对机器人来说，它其实有一些额外信息可以包含力的信息，只是这个过程通过观察完成。 比如我要抓取一个东西，怎么知道自己抓紧了没有？机器人可以通过末端执行器附近的摄像头观察物体的形变程度，观察由抓取导致的反弹等性质，从而知道自己是否抓紧，以及抓取力度怎么样。 所以虽然看起来没有直接的力传感，它可以通过视觉弥补这部分信号的缺失，相当于用视觉完成一部分力传感。 泓君 我也很好奇，力的数据要怎么收集？我觉得收集真实世界的三维数据已经很难了，因为模型在网上学到的数据可能都是平面的。它要处理现实世界数据就已经很难了，而力可能是我们人类凭经验判断的。 在数据收集上，力的数据有什么不一样的地方吗？ 王昊 其实有很多传感器。人体本身对力的感知丰富度其实不够，而我们现在有各种各样的传感器。 比如在指尖末端可以加触觉传感器，获得多个方向的力；在机器人的手臂、手掌上可以安装电子皮肤；还可以安装对温度敏感的传感器；在机械臂末端安装六维力传感器，在关节处安装力矩传感器。 我们在传感器上有很多维度，可以在身体不同部位获得力的信息。传感器的发展其实很快，并没有大家想象的那么不成熟。 但它为什么没有真正进入模型，还是因为我们现在依赖视觉做主要训练。核心原因是人类留下的数据也是以视觉为主。人的触觉和力的数据没有被记录下来，所以我们现在要依靠人类数据和人类活动，把能力泛化到机器人领域，又用视觉去弥补触觉本身的不足。 这已经可以帮助机器人完成非常重要的任务。触觉和各种力传感可以持续发展，但目前不会成为制约整个机器人控制的绝对瓶颈，我们可以在过程中逐步完善传感能力的缺失。 泓君 我看大家研究机器人时，都希望机器人能够帮我们做家务，比如叠床单、叠衣服、把碗放进洗碗机。大家觉得未来机器人真的能在家里帮我们做家务吗？ 拥有一个在家里提供服务的通用家庭机器人，你们觉得还需要几年？ 王昊 这件事看似简单，我觉得它基本上可以作为机器人领域一个完美的图灵测试，因为它包含了具身智能和机器人领域的所有挑战。 它有精细动作，比如切菜；有精细的力控制，比如处理易碎物品；也有非常丰富的感知，比如处理油污、脏东西和食材；还有长程规划，比如看着菜谱做某道菜，看说明使用某个电器。 除此之外，还要处理各种意外情况。所以我觉得它已经包含了具身智能要解决的所有挑战。 完全实现这个目标，还是要分步走。我觉得 2 到 3 年以内，在半结构化环境里，不是完全开放的厨房中，我们的模型加机器人基本可以做一些事情，比如帮你做简单的菜、洗一个碗。 但如果要在完全开放的厨房里把所有事情都做到，我觉得可能还需要大约 5 年，才能实现这样的目标。 泓君 大概 5 年左右，可以实现机器人在厨房里做饭、洗碗这些事情？ 王昊 对，我觉得有可能实现。但进入这个时期后，我们仍然需要容忍很多情况，比如它在这些任务上有比较好的成功率，但偶尔也可能失误，只要允许它和人类协作、获得人类帮助就可以。 我觉得到那个时间点，机器人可以进入家庭。乐观的一点是，我觉得现在整个机器人发展处在正确的道路上，遵循非常快速的 Scaling Law。 这对整个人类历史来说都是很新的事情。现在似乎有一条明确路径告诉我们怎么做：投入算力和数据，迭代模型规模与架构。这些能力是肉眼可见地一直在提升。 所以现在看起来很困难的问题，放到那个时间点再看，一定可以被解决。模型也一定能够跨过某个阈值，进入新的阶段。因此从现在预测 5 年，我觉得这个预测非常合理。 当然，也需要审慎一点。为什么我把时间点放在那里？因为机器人不像纯软件，可以轻资产、快速迭代，它仍然受物理世界和物理定律限制。硬件发展、数据、算法、供应链和商业模式都需要全方位突破，才有可能真正做到那一步。 所以这仍然是一个大胆的预测。 泓君 Kay，这不就是来插旗了吗？还是得想一下这些问题，给自己插个旗，好激励大家一起往前。 柯丽一鸣 我觉得 5 到 10 年应该可以。 一方面，现在模型和算法还没有达到只要商业化就能做成产品的程度。但另一方面，迭代速度确实非常快，大家也有很多热情和投入。我相信两三年里，甚至每一年，都会出现新的巨大变化。 另外，我们这个行业和自动驾驶，甚至和火箭升空这些传统机器人行业，也有一些不一样的地方。我们可能更像扫地机器人。 我还记得最早一代扫地机器人，其实没有那么完美。用户习惯了它能做什么、不能做什么，搞明白怎么使用之后，它就成了一个比较好的商业化典范。 保守一点估计，以这个为目标，我觉得 5 到 10 年非常有可能做出一种产品：它偶尔会出错，但用户把错误限制在一定范围内之后就可以接受，它也能成为真正帮助用户的产品。 泓君 好的，我的问题差不多了。看看两位有没有什么想补充，或者有没有想聊的问题。 柯丽一鸣 我还挺好奇，有一类以产业化为关键的机器人公司，一方面想做一些商业化应用，另一方面又需要兼顾如何把商业化项目的投入变成大模型的燃料。大家怎么看这方面的产业选择和策略？ 泓君 你是指大家怎么平衡落地场景和研发吗？ 王昊 这其实是我一直很好奇的一个问题。这个问题挺好的。作为创业公司，第一天我们就在思考，怎么既能仰望星空，也能脚踏实地。 由于现实因素，不可能等最终达到 AGI 目标之后，再去思考商业化，那可能就太晚了。我们现在的策略是，尽可能在做通用模型的基础上进入场景做一些事情。 但这个场景必须和最终想实现的通用场景比较接近，能够泛化。因此我们尽可能不会去碰那些比较封闭的场景。 比如公共服务、养老服务，都是很好的场景，和最终要做的通用机器人有相似之处。这里面既有非常复杂、需要和人接触的任务，也有相对简单的任务，比如打扫卫生、拿东西、处理食材。 从这个角度看，这些都是好的场景，因为它们和最终目标接近。我们可以在场景中不断迭代和检验通用模型的能力，也可以获得非常宝贵的数据反馈。 但要保证这种选择，还是需要在商业化路径上有很强的定力。 另外，我觉得非常重要的是公司的组织能力。一个公司的组织能力和组织结构，决定了公司的上限，也决定了最后能不能把事情做成。 一定要以通用模型、基础模型为目标去组织整个公司，形成一个没有壁垒、高效协同的组织，才可能保证中间迈出的每一步都不走错，最终达到目标。 泓君 所以在场景上，你们比较注重的是，未来能够商业化应用，而不是一个只能在封闭场景里实现的需求？ 我刚刚问家用机器人能不能帮我们做饭、洗衣、叠被子，还有多远，其实我自己也在想，这样一个场景能不能养活一家机器人公司。 王昊 我觉得很有希望。 现在整个机器人产业的规模还没有起来，硬件仍然有非常大的降本空间。随着模型水平提升、硬件成本下降，在几年的尺度上，用户首先会更容易接受它的价格；其次，从功能角度来看，当机器人可以帮助普通用户做很多事情时，大家也会很愿意接受。 现在大家普遍难以接受机器人进入家庭或其他场景，是因为机器人看起来好像只能跳舞、提供情绪价值，没有其他功能。但它未来的想象空间非常大。 过去机器人可能没有机会向普通用户展示这些应用的可能性，但未来这种预期会变得大得多，这种可能性也非常大。 泓君 而且我觉得很难的一点是，做机器人模型的公司可能得烧钱烧到真的把一个具体应用场景跑通。 王昊 是。我觉得对创业公司来说，就要在不断落地的过程中强化商业化能力，为最终目标持续做好准备，形成闭环。 机器人商业成功的核心，依赖于在现实世界中的部署。部署数量越大，面对的场景越开放、越多样，对模型的反馈和闭环迭代作用就越强。 如果机器人只是在实验室，或者在一些自己设定好的场景里运行，我相信它可能永远没法真正走向真实环境和真实用户场景。 泓君 Kay，你自己问这个问题，有答案吗？ 柯丽一鸣 只有一些想法，答案很难。现阶段我更多考虑的是算法方面，还没有到那个阶段去思考落地、商业化，以及从任务中得到的启示。 但我相信这个方向还是很重要。 泓君 好的，谢谢大家。 柯丽一鸣 谢谢。 王昊 感谢。 泓君 好了，这就是我们今天的节目。如果大家喜欢我们的节目，欢迎给我们写评论、写留言。如果你对机器人有什么样的想法，或者你有什么感兴趣的问题，也欢迎写给我们。同时下一周我会从硅谷飞到上海，去参加蚂蚁的外滩大会。我会主持 9 月 11 号的智能体大会，与 9 月 12 号的投资大会。如果大家在上海，也非常期待大家能够到现场，跟大家线下相聚。另外如果大家觉得我们的节目专业性过高，也可以通过 YouTube 或者 B 站去搜索《硅谷101》播客，我们会在上面有一个字幕版。同时本期节目的文字稿，我们也会发在《硅谷101》的微信公众号上。我是泓君，感谢大家的收听。