55.揭秘「机器人造脑」幕后:VLM、VLA,不变的是感知能力的提升
- 北京人形机器人创新中心(天工机器人主创团队)开源了具身脑模型 Pelican VL(中文名“天狐”),其中 72B 版本被团队称为“应该是目前具身领域参数量最大的开源具身脑模型”。 Joy将技术分工比作“VLM是大脑、VLA是小脑”:先做好VLM再接action head;鞠笑竹则强调,不管VLA架构如何演进,核心始终是视觉语言理解部分,而VLA路线目前尚未收敛。
- 通用多模态模型与具身场景之间的gap远超公众想象:团队实测发现,接上机器人后,ChatGPT等模型连三四块积木都搭不出来,甚至无法挑出“最大的一块”。 Joy称这是“非常痛苦的一点”:两三岁小孩能完成的事,能写诗、做数学题和物理题的大模型却做不了。团队与李飞飞几乎同时关注到空间理解问题。
- 团队不认为尽可能多收集数据就是自身训练模型的最佳实践,但承认 scaling law 存在。 鞠笑竹用“大象每天吃几十公斤食物,体重和智商却只增长一点点”比喻数据利用效率;他提到红杉报告中的“2,000亿美元问题”一年后变成“6,000亿美元的问题”。团队提出 DPPO(Deliberate Practice Policy Optimization),用RL自主探索、总结弱点,再由SFT定向补强,提升数据和训练利用效率;Pelican使用约180万条数据,规模在行业中“中等偏低”,但在相关benchmark上取得了更好的表现。
- 产品矩阵按算力和场景分层:72B云上大脑面向需求无穷的商业、家庭场景,7B面向流程固定的工业场景,后续计划开源3B给VLA基础研究做基座。 Joy说,小模型容量有限,突然加入大量数据后,可能会被从原有分布中拉走、遗忘原先能力;这也是发布72B的原因之一。
- Benchmark覆盖Where2Place、RoboSpatial、长视频理解和英伟达Cosmos等任务;标志性案例是“寿司测试”——只有Pelican判断任务已经完成并输出stop,基座模型和GPT-5都没有作出同样判断。 视频中机械手已经把寿司夹出来,卫诗婕强调,机器人必须先判断任务是否完成,否则可能在目标已完成后继续错误操作。
- 数据采集范式是VLA与VLM路线的关键分野:卫诗婕概括VLA依靠人通过遥操作反复完成任务、采集端到端数据;VLM+DPPO则把模型接到机器人上,让机器人自主练习。 Joy认为,VLA可能过拟合原有操作轨迹,物体换颜色或形状后可能无法迁移;VLM则可以努力发展成“二十四小时的牛马”,只要机械臂不需要休息,就能持续采集数据。两条线互补:VLA更注重action、模型更小,适合端侧实时;VLM更注重理解和泛化。
- 开源的理由包括分享成果、获得试用反馈,以及在具身技术路线尚未收敛时提供较好的基座。 团队希望复刻互联网、计算机和人工智能领域的开源生态,让更多人参与研究。Joy说,希望更快迭代出V1、V2、V3,“到V3的时候说不定就是我们的DeepSeek时刻”。卫诗婕还用自动驾驶长期采集路况、而物理世界更加复杂作类比,说明具身数据和能力建设仍处在早期。
1. 从运控到造脑:机器人翻跟斗已稀松平常,问题变成“有什么用”
- 鞠笑竹在优必选时期主要做大型仿人机器人的运动控制:当时机器人连走路问题都没有解决,更谈不上进入各种场景工作。转折点是2019年美国DARPA挑战赛,强化学习方法在具体场景中战胜传统机理建模方法并获得第一,此后随着算法迭代和sim-to-real问题逐步解决,强化学习逐渐迁移到人形机器人。
- 现在“机器人翻跟斗、跳舞”已经被他形容为稀松平常,命题变成机器人究竟有什么用、什么时候能做家务或进入工作场景。网上大量遥控操作机器人的视频,也反衬出公众更想看到机器人主动、自主完成任务。
- Joy从自动驾驶转到机器人行业后的观察是,两者都要先感知环境、判断下一步动作,传感器也有共通之处:自动驾驶常用摄像头和激光雷达,具身智能也常见这两类设备。
2. 模仿学习可能造出“没有感情的任务执行机器”
- 鞠笑竹在优必选之后的经历中尝试过RT系列模仿学习。他的判断是,模仿学习最后可能让机器人变成“一个没有感情的任务执行的机器”:不管人怎么捣乱或破坏,它都一往无前地完成任务,不会反过来思考这个人为什么捣乱、任务是否还应该继续。
- 当操作问题逐步解决后,真正的智能还需要依靠大脑的思维、规划和场景理解,这也是团队做具身大模型的原因。
- 卫诗婕补充了泛化性的直观定义:过去的rule-based机器人把任务稍微变动一下就不会了;泛化则意味着学会任务A后,能力可以在数据基础上积累,逐步迁移到任务B并形成飞轮。Joy认可这也是大家关注VLA、以及VLM和VLA结合的原因,例如希望机器人在家里做饭、扫地、拿快递。
3. VLM是大脑、VLA是小脑,视觉语言理解是核心
- Joy把VLM和VLA比作大脑和小脑:VLM负责感知环境、理解变化并发出指令,下游可以由VLA或其他模型完成具体操作。例如看到杯子倒了,VLM理解“要把它扶起来”,再把机器人或下游模型能够执行的指令传下去。
- VLA面对“做早餐”这样的复杂指令时可能完成不了,因为通用视觉语言模型没有见过足够多的具身数据,不知道如何把语义和视觉信息转换成机器人可执行的feature,再传给action。因此团队希望先通过VLM把视觉语义变成机器人可理解的表示,再在前面接action head,形成更具泛化性的VLA。
- 这里的action不一定是非常具体的关节动作,而可能是只有机器人和模型能理解的high-level feature或指令。
- 鞠笑竹把这上升为技术路线判断:VLA从端到端的RT架构,演进到快慢系统分层,再到function call等方案;但无论VLA怎样变化,核心始终是VL,也就是视觉语言理解部分。先把通用能力与具身能力之间的差距拉齐,后续action如何演进,都能建立在更好的基座上。
4. “苹果对它来说就是一堆数字”:通用脑到机器人脑的距离
- 通用VLM可以对话、理解图片和视频,但要成为机器人的大脑,还需要理解时序和空间。Joy提到,具身智能下一步的重要问题之一是空间智能:模型要理解物体在哪里、如何随时间变化,才能在真实环境中行走、跳跃、拿取和倒水。
- 模型还需要具备function call能力,把自然语言或高层规划翻译成机器人能够调用的工具和动作。
- 鞠笑竹解释说,如果机器人没有和真实物理世界接触,苹果对它来说就只是一堆数字,它不会真正理解苹果。具身大脑要借助机器人的身体接触物理世界,甚至“慢慢产生感情”;卫诗婕随即开玩笑说,这样就会有一个永远18岁的电子男朋友。
- 卫诗婕还提到李飞飞所讨论的世界模型三项能力:多模态理解、交互和生成,并追问前两项是否也是VLM的关键;Selina对此表示认可。
5. 积木实验:世界顶尖期待下的模型仍不及三岁小孩
- Joy讲述了团队做积木实验时的“非常痛苦的一点”:让机器人参照几块随意摆放的积木,复现一模一样的结构。测试了包括ChatGPT等在内的较好的通用多模态模型后,他们发现,即使是简单的三块、四块积木,两三岁小孩也能照着摆出来,但大模型做不到。
- 让模型挑出“最大的一块积木”,它也可能无法正确识别,甚至“完全get不到”。模型可以写诗、做数学题和物理题,却连一层积木都搭不好,这让团队觉得不符合直觉。
- 鞠笑竹和Joy进一步拆解了失败原因:模型会混淆颜色和形状,对物体之间的距离关系、相互依赖理解较弱,也不知道自己有什么能力可以操作物体,更不会规划合理的搭建顺序。因此团队要从大脑层面补足affordance、CoT思维链、规划和推理能力。
- 团队做实验时,恰好也看到李飞飞发布的空间感知相关研究和第一个数据集,因此几乎同时关注到这一问题。
- 鞠笑竹还指出,语言偏好的VLM有时即使被蒙住双眼,也会依靠内部语言信息“幻觉”出很多内容。卫诗婕进一步概括,通用模型主要从互联网二维数据中学习,而真实物理世界是三维的;即使看过很多遍拿水杯的视频,也不代表模型就能在现实中完成操作。
6. DPPO:让模型像备考学生一样刻意练习
- Joy用高考复习作类比:学生先建立基础,再做一百道题,发现五十道不会;反复复习后还剩三十道,就请老师定向讲解,掌握后继续挑战更难的题。
- 对应到模型训练,RL阶段让模型自主做题、反复探索,偶尔做对时还要复盘“为什么这一次做对了”,从中总结出仍然完全不会的问题;随后由SFT老师针对这些弱点进行讲解,把模型逐步带入具身场景。
- DPPO全称是Deliberate Practice Policy Optimization。卫诗婕复盘为“看视频指导下自主练习(RL)→发现弱点→监督微调”,Joy称这是一个“把模型专家化的过程”。
- 这种训练还试图避免能力遗忘:人不会因为学会开车就忘记骑自行车,模型也不应因为学会左右关系就忘记看视频的能力。
7. 大象与人脑:承认scaling law,但强调数据和训练效率
- 卫诗婕转述了她听到的一个来自硅谷的判断:把几家公司的大型样本数据库汇集起来,在海量、多样化的数据中发现新的智能,因此数据集和任务越多样,可能带来越高的智能。
- 鞠笑竹明确表示,scaling law肯定存在,但对团队而言,尽可能多收集数据未必是训练强模型的最佳实践。Joy补充说,视频同时包含时序信息和一定的空间信息;通过视角移动,模型可以从二维视频中获得部分空间和物理理解,但不可能达到100%。
- 在卫诗婕追问Open X等包含机器人操作、物理交互和机器人本体感知运动信息的数据是否更“有营养”时,鞠笑竹用大象作比喻:它每天要吃几十公斤食物,体重和智商却只增长一点点。资金、算力和数据充足的公司可以承受这种方式,但创业公司未必具备条件。
- DPPO因此被设计为精雕细琢训练配方,最大化数据和训练利用效率,即使人员较少,也希望训练出性能不错、能够和当前市面模型一较高下的模型。
- 鞠笑竹又把问题从创业公司的限制上升到行业层面:红杉2023年报告谈“AI的2,000亿美元问题”,一年后标题变成“6,000亿美元的问题”。如果训练效率和数据利用效率无法改善,持续投入会成为厂商和国家的沉重负担。卫诗婕也以每天面对惊人GPU账单、晚上不敢睡觉作半开玩笑的补充。
8. 7B、72B与规划中的3B:参数量对应不同场景
- Joy解释说,小模型容量就是参数量。7B模型像较小的存储空间,突然加入大量数据后,可能被从原本学到的分布中拉走,遗忘已有能力。模型容量较小时,这种“失智”现象更容易出现;这也是团队发布72B的原因之一。
- 鞠笑竹给出的场景划分是:商业和家庭场景中人的需求无穷无尽,需要更强通用能力和泛化效果,可以使用72B云上大脑;流程相对固定的工业场景则未必需要72B,7B可能已经足够。
- 7B还适合无法训练或运行72B的学生和科研院所,能够作为研究骨架。团队后续计划开源更小的3B模型,为VLA基础研究提供更强的基座。
9. Benchmark表现与“寿司测试”:只有Pelican说stop
- Selina展示的对比图中,白色部分是Qwen2.5-VL-72B基座模型,红色部分是Pelican。在DPPO框架下,团队称模型在多个benchmark上取得了明显提升。
- 评测覆盖具身领域的典型任务:Where2Place用于判断free space,例如把一壶茶放到桌面时,不能放在杯子、花盆或已有物品的位置;RoboSpatial用于检测物品位置;另有机器人第一视角的长视频理解任务。Selina表示,Pelican在这些任务上的表现优于当前一些开源和闭源模型。
- 更直观的案例是“寿司测试”:给模型一段视频,并问机器人下一步该做什么。视频中机械手已经把锅里的寿司夹出来,只有Pelican判断任务已经完成并输出“stop”,基座模型和GPT-5都没有作出同样判断。
- 卫诗婕强调,这种完成判断对机器人是必需的:寿司既然已经被夹出来,机器人就不应继续执行无关或错误操作,否则可能把已经完成的任务重新做错。
10. 长程任务演示:左右臂分工、失败重试与function call
- 演示视频中的指令是:“我要去上班了,请帮我把鞋子放到鞋架上,把垃圾放进垃圾桶,把衣服放进洗衣机里。”Pelican接收自然语言指令,记住鞋子、衣服等物品的位置,自主拆解任务并生成子目标。
- 这种规划不是“所见即所得”:模型要回忆之前看到了什么、每个东西在哪里,还要知道自己有哪些技能。如果一只手臂拿着衣服,就要规划另一只手臂开门;如果洗衣机门没有一次关上,还要判断失败并重试。
- 演示中的文字是模型的思考和推理内容,右下角terminal则显示动作工具和环境感知工具的调用。function call把大模型的理解转化成下游操作、移动模块可以执行的具体指令。
- 场景不止家庭,团队还在商超和实验室测试了泛化能力。Selina希望让智能不再停留在屏幕上,而是进入真实世界。卫诗婕也提到,她在今年世界机器人大会看到的高频展示场景包括商超和搬运货架;鞠笑竹认为商业服务的落地可能性相对较高。
11. 无处不物理:从中学物理题到躲避小鸭子
- 团队还在物理常识推理评测集上与其他模型进行对比,现场展示了一道关于完整循环中热量和输入的中学物理题,卫诗婕和Selina都表示题目不容易;Selina称Pelican相较其他模型表现更好。
- Joy解释,物理理解就是理解物理世界的规律。如果模型不知道杯子倒了水会洒,就无法作出相关判断。
- 在真实场景中,前方突然跑出一只小鸭子时,机器人要根据小鸭子的速度判断需要多久停止或躲避;自动驾驶也需要理解速度、加速度和碰撞时间。Joy进一步说,真实生活中还涉及电、热等现象,例如衣服晒完什么时候收、灯泡坏了如何修,模型需要理解的物理规律非常多。
12. Affordance:1977年的心理学概念成了具身核心
- Selina介绍,可供性(affordance)最早由一位心理学家在1977年提出,指人可以通过物体的外形和功能判断它可能适合执行什么动作。
- 空的垃圾袋可以用两根手指提起,装满水果后则需要寻找不同支撑点并托举;长条门把手需要先压下再推,圆形门把手则要先拧再推。人拿茶壶时会捏住壶柄,但机器人可能错误地捏住壶嘴。
- 感知、抓取和放置、柔性操作、长程规划,本质上都依赖对可供性、空间关系和时序的理解,这是智能体从认知世界到物理世界的重要闭环。
- 在多视角逐步生成可供性的任务中,三个摄像机从不同角度拍摄同一场景,Pelican要推断哪些物体可交互、哪些位置适合抓取或放置,并保持跨视角的一致性:同一根香蕉从不同角度看起来不同,但模型仍要识别为同一物体。随后通过从2D到3D的三角化,把理解转成具体动作坐标。
- 在抓取和放置演示中,模型先规划轨迹、拆解子任务,识别面包和盘子的位置,再通过bounding box和grasp point缩小目标范围并执行动作。
- Joy区分了两层能力:VLM先具备开放词汇理解,例如理解“小小的苹果”或“可爱的苹果”;再叠加affordance,知道如何操作物体;结合Where2Place判断最合理的放置位置,才能完整完成pick-and-place任务。
13. 力控:先估计,再通过触觉反馈修正
- 对于硬物和软物的不同抓取,Pelican采用的是一种仿人闭环:先观察物体的形状和材质,大脑根据经验预估力量,再由力觉算法根据手指触觉反馈修正,并把信息存入memory模块。
- 下次遇到相同物品时,Pelican可以利用之前的抓取经验,施加更合适的力量,使抓取更准确、更快、更高效。鞠笑竹补充说,模型要理解物体大小和材质,估计多大的力能把它捏起来而不捏碎、不捏扁。
- 如果两种物品外形相同但材质不同,模型可能先判断错误;实时反馈机制会在抓取后发现偏差、及时修正,再把信息更新回模型。
- Joy认为,VLA可能需要采集更多力接触数据,而且往往是见过某种物体后不断采集同类数据。物体换颜色或形状后,VLA可能无法迁移,因为当前一些VLA更多过拟合于原有操作轨迹,没有充分利用大模型的可控性和世界知识。
14. 遥操与“二十四小时牛马”:两种数据采集范式
- Joy介绍团队亲自尝试遥操作设备时的体感:设备对力没有感知,不管抓什么东西,都可能一下子捏到底,抓起来就算完成。相比之下,基于VLM的模型可以利用对材质、摩擦力等知识的理解,进行不那么粗暴的抓取。
- 卫诗婕概括两条路线的数据差异:VLA通常由人通过遥操作系统反复完成任务,采集端到端数据训练模型;VLM+DPPO则把具身大脑接到机器人上,让机器人自己不断尝试任务。
- Joy说,VLM可以努力发展成“二十四小时的牛马”:只要机械臂不需要休息,就能持续采集数据,而且这些数据也可能反过来用于训练VLA。VLM希望理解一类物品的抓取方式,而不是换一个物体就重新采集同等数量的数据。
- 两个团队并存是因为分工互补:VLA团队更注重action,模型相对更小,适合部署在端侧实时完成任务;VLM团队更注重前面的理解,希望把知识输送给VLA,使其具有更强泛化性、更高成功率和更好效果。
15. 180万数据、人肉清洗与“实习生第一生产力”
- Pelican使用约180万条数据,Joy认为这个体量在行业中“中等偏低”,但其中包含较多视频,因此信息量较大,也帮助模型在长视频理解上取得较好表现。
- 数据集还包括图片、物体位置、bounding box检测、问答、选择题等多种数据。具身智能数据集的维度较丰富,因为模型需要掌握的能力本身也很多。
- Yoyo介绍,数据刚拿到时比较杂乱,需要人工逐条查看、判断哪些数据对模型有用,再结合模型筛选。百万量级数据真正全部过一遍,需要很大力气,也很容易出错。
- 卫诗婕借MiniMax公布训练工作时“实习生是第一生产力”的行业玩笑,引出研二在读的Yoyo。她本科就读浙江大学信息与计算科学专业,后来考入北京大学软件与微电子学院;从小学习竞赛,喜欢独自钻研并解决问题,因此觉得代码工作很有成就感。
- 直播还刻意呈现了年轻女性工程师的工作。鞠笑竹说,女性科技工作者在最前沿、最新的方向上同样发挥着重要作用;卫诗婕则提到她看过关于女性在STEM职业中期流失概率较高的研究,希望更多人看到女性在硬科技领域的贡献。
16. 开源赌的是DeepSeek时刻,名字指向“汲取智慧”
- Joy解释,开源既是分享研究成果、让更多人认识团队的方式,也能让更多人试用模型并提出建议;团队仍处在初创阶段,需要外部反馈。
- 鞠笑竹从行业角度补充,具身智能技术路线尚未收敛,尤其VLA本身仍在探索,因此团队希望提供一个相对不错的基座,避免大家拿通用模型后还要重新训练各个维度的能力,并尝试复刻互联网、计算机和人工智能领域的开源生态。
- 他认为VLM目前处在相对稳定的阶段,但后续还会接入触觉、深度等更多模态,这些并非通用模型天然能够完成的事情。
- Joy希望借开源更快迭代出V1、V2、V3,“到V3的时候说不定就是我们的DeepSeek时刻”。
- 结尾彩蛋还解释了Pelican的中文名“天狐”:鞠笑竹说“狐”取自鹈鹕的“狐”,并讲到围绕鹈鹕、卡皮巴拉、小金鱼和豆包娘的网络梗。团队基座模型是千问,千问的卡通形象是卡皮巴拉;Pelican“可以吃掉”这些形象,但英文不能说eat,而要说汲取对方的智慧精华、站在巨人的肩膀上。现场的天工机器人还对鹈鹕与水豚互动的视频进行了描述。
Full transcript
哈喽,大家好,欢迎来到商业漫谈,我是诗婕。上周我收到一个邀约,主持了一场围绕具身大脑的技术分享直播。主办方是北京人形机器人创新中心,他们也是今年机器人马拉松大赛冠军天工机器人的主创团队。在当下具身智能为机器人造脑的热潮中,北京人形团队也交出了自己的研究成果,最新开源了具身大脑 Pelican VL。围绕这个最大尺寸的开源具身多模态脑模型,我们逐步还原了为机器人造脑背后的全过程,并进行了包括 VLM、VLA 等一系列具身知识的科普,还解析了不同技术路线的差异。围绕具身智能的学习,我已开辟了一个单独专题 Robots Coming。过往第四十五期节目中,我曾陪伴过人形机器人进工厂,非常适合和本期内容一起收听。这期节目的视频版也将在不久后登录 B 站、视频号、小红书等平台,大家可以对照 PPT 更直观地理解,也可以关注我的公众号“卫诗婕商业漫谈”。让我们一起学习具身领域的知识,共同迎接一种融合文明的到来。
哈喽,进入直播间的朋友们,晚上好。我想,走进这个直播间的朋友可能包含机器人学界、业界的朋友,也有很多对机器人感兴趣的普通受众。和大家一样,我也对当下正在发生的这股“为机器人造脑”的热潮有很多好奇心,所以今天这场直播会带大家走进一个技术研发团队,还原具身智能“造脑”背后的全过程。
我是主持人诗婕。今天我们非常荣幸地邀请到了北京人形机器人创新中心的研发团队。这场直播会涉及具身智能脑模型的科普和技术路线差异的解读,也欢迎大家跟随我们一起进行深入探讨,也欢迎大家把自己感兴趣的问题留言在评论区。
先请我左手边的这位唯一的男性,跟直播间的朋友们打个招呼。
大家好,我是鞠笑竹,来自北京人形机器人创新中心,主要负责具身大模型的技术研发。
大家好,我叫 Joy,现在在北京人形机器人创新中心主要做具身大模型强化学习相关的研究。他是我的老板。
大家好,我叫 Selina,是北京人形的多模态算法工程师,主要负责 SFT 阶段的微调和数据处理工作。
哈喽,我是 Yoyo,现在研二在读,是一名实习生,主要负责强化学习部分的数据处理、代码开发等工作。
很多朋友可能对北京人形机器人创新中心这个名字不是特别熟悉,但是如果我讲到这家公司研发的人形机器人产品,大家就非常熟悉了,就是天工机器人,也是今年人形机器人马拉松大赛的冠军获得者。
一会儿在结尾的时候,我们还会有一个彩蛋,邀请天工机器人过来和大家互动。
1. The Robot Brain Boom
开场我们可以先做一些知识科普。Joy,其实你是从自动驾驶行业转到机器人行业的。之前沟通的时候你提到,自动驾驶和人形机器人这两个行业有很多共通之处。
对,因为我大概是在 2023 年底、2024 年初开始接触大模型的。自动驾驶当时也开始出现一些和大模型相关的技术方案,需要大模型实时地在车上检测、感知环境。比如前面突然出现一只小狗,大模型需要给出一个指令,告诉车要停下来。这是我从自动驾驶接触大模型的开始。
后来我慢慢开始了解具身智能。2023 年的时候,感觉具身智能这个概念刚刚出现。自动驾驶和人形机器人其实很像,因为做人形机器人,首先要做的第一件事就是感知环境,判断现在要做什么。另外,传感器也非常相似。自动驾驶用到的主要是摄像头和激光雷达,具身智能最常见的设备也是摄像头和激光雷达。
因为我自己本身也是科技节目的主理人,在过去的播客和访谈当中,也曾经陪伴过一些人形机器人走进工厂。
这一波 AI 大模型浪潮来了之后,其实给机器人从运动控制到大脑都带来了非常大的飞跃。现在我们能够看到机器人能跑能跳,运动控制相比 2023 年之前也有了非常大的进步。
但我知道我们今天的主题是围绕机器人的“大脑”,所以这里先做一个简单的科普。过去中国机器人行业更多是在运动控制方面有较多建树,在这波 AI 浪潮来临之前,机器人造脑这个层面的突破其实并不多。但 2023 年这股大模型浪潮来了之后,改变了很多事情。
我知道鞠笑竹也是先后经历了优必选和美的创新中心,然后才来到北京人形。你观察到的这股为机器人造脑的热潮是如何发生的?为什么会发生?
实际上确实像您说的,我在优必选那段经历主要做的是大型仿人机器人的运动控制。那个时代,运动控制的问题其实还没有解决,机器人连走都走不了,更不要说让它到各种场景中去工作了。所以那个阶段主要攻克的是行走问题,包括全身运动控制的问题。
2019 年的时候有一个契机,就是美国 DARPA 挑战赛。同样是在一个具体场景里,强化学习的方法战胜了传统的机理建模方法,获得了比赛第一名。从那个时间开始,大家真正关注到强化学习在四足机器人上的应用。
随着算法逐渐迭代,包括 sim-to-real 问题逐步解决,机器人的一致性越来越好之后,强化学习也逐步能够迁移到人形机器人上。现在机器人翻跟斗、跳舞,其实已经是一件稀松平常的事情。
现在我们可能要进一步考虑的是,机器人能有什么真正的作用,能不能符合人类的日常需求。大家最大的呼声就是:什么时候机器人能帮我做家务?什么时候机器人能够在工作当中帮到我?
包括现在网上有很多用遥控器操作机器人的视频。大家其实还是想看到机器人主动、自主地完成一些事情,这实际上也得益于强化学习的效果。
到了我第二段经历的时候,我想要让机器人真正变得有用。那个契机就是 RT 系列的模仿学习方法逐步出现。经过一些尝试,我们发现,模仿学习最后可能会让机器人变成一个没有感情的任务执行机器。
比如我有一个场景,不管我怎么捣乱、怎么破坏,它都会一往无前地把任务完成。它不会反过来想:这个人为什么要捣乱?我还应不应该把任务做完?
这个时候我们就意识到,当我们可以解决操作问题之后,真正的智能展现还是需要依靠大脑的思维能力、规划能力,包括对场景的理解。这也是我们几位伙伴一直努力的方向,就是具身大脑的大模型,让机器人能够真正像人脑一样自主思考。
2. Generalization Changes Everything
之前我和其他行业的人交流时,他们经常提到一个词,叫“泛化性”。
过去的机器人是 rule-based 的,你给它写好代码,给它一个确定性的任务,它能把这个任务完成得很好。但是有一天,只要你把这个任务稍微变动一下,它就不会了。
泛化性指的是,它今天学会了任务 A,也许明天就能慢慢学会任务 B;它掌握的能力可以在数据的基础之上不断积累,形成一个飞轮效应。我不知道我的理解对不对。
是的,这也是当前有一部分人关注 VLA,或者关注 VLM 和 VLA 结合的原因。大家希望机器人在各种场景中,都能够泛化地完成各种事情。
比如我现在把一个机器人放在家里,它可以做饭、扫地,还可以帮我拿快递。
3. VLM Meets VLA
接下来要问一个特别重要的技术科普问题,也是我自己非常感兴趣的。
刚才 Joy 提到,今年具身智能赛道最常被提到的一个词就是 VLA,几乎每家公司都说自己在做 VLA。但是我之前和行业专家交流时,首先问到的是:VLM 和 VLA 是不是同时存在的?对方说是的,同时也指出,现在市场上很多公司声称自己在做 VLA,但实际上 VLA 的能力还不是很如人意,不能做很多事情。可能 VLM 反而更具备实践性。
能不能先给我们科普一下这两条造脑路线,在技术路线上到底有什么差异?
我们通常把 VLM 和 VLA 比喻成大脑和小脑。VLM 是我们的大脑,负责感知环境,感知一切生物和非生物的变化,理解这些东西,然后给机器人或者机械臂发出指令。
比如说杯子倒了,我要把它扶起来。机器人收到这个指令之后,下游的小脑可能是一个 VLA,也可能是其他模型,再通过这些模型去完成工作。
所以 VLM 是非常重要的一部分。它负责感知世界上发生的一切,理解这些东西,然后给 VLA 模型一个可执行的指令。这就是 VLM 和 VLA 在当前技术架构上的分工。
另外,VLM 和 VLA 在模型结构上的关系也很明显。从名字上看,VLM 和 VLA 前面有一个共通之处,就是 vision-language。
对,都是从视觉到语言的理解。
VLA 最重要的功能之一,也是理解环境、感知环境,然后执行 action。
假如我给它一个“做早餐”的任务,让 VLA 去做,它可能完成不了这样一个复杂的指令。为什么现在的 VLA 完成不了复杂指令?因为通用的 VL 模型都是基础模型,它没有见过很多具身数据,也没有见过机器人做早餐、完成工作的场景。
它不知道怎样把这些语义和视觉信息变成机器人可执行的 feature,再传给 action。这也是我们想做 VLM 的原因:首先通过 VLM 把视觉语义变成机器人可理解的东西,然后顺理成章地在模型前面接一个 action head,做出更加泛化的 VLA。
所以你们的技术路线,是先做好一个 VLM,然后再加 action?
对,VLA 其中一种理解,就是 VLM 加 action。
让它先看到、认知、理解,然后做一个规划,再把这个规划变成动作,是吗?
对。它可能不是一个非常具体的动作,而是一种 action 可以理解的 feature,是 high-level 级别的,只有机器人和模型能懂的一种指令。
实际上现在 VLA 的架构很多,也经过了非常多的演进。从之前现象级的 RT 诞生开始,它是一个端到端的架构,当然也依赖刚才提到的 VL 这一部分。
现在又演进到了快慢系统分层的架构,包括我们在具身大脑上做的 function call 等一系列方案。其实不管 VLA 怎么变化,它始终的核心都是 VL 这一部分,这一点是不变的。
通用模型的能力和具身模型的能力之间存在一定差距。当我们把这个差距拉齐,让通用能力得到增强之后,后续不管 action 这一部分如何演进,我们始终都能达到更好的效果。前提是,我们要有一个更好的基座。
通用模型和具身模型之间的差距,可以先简单介绍一下。
非常直观地讲,我们希望 VLM 具备的能力是对话、理解,能够看懂视频和图片。这样的模型通常叫通用模型,它可以和人类进行简单对话,也可以做一些简单的场景理解。
但如果这个通用模型要变成机器人的大脑,它其实需要被赋予更多责任。它不但要能够和人交互、理解图片,还需要感知时序。正如李飞飞老师所说,具身智能下一步最重要的问题之一是空间智能。
所谓空间智能,就是具身大脑需要理解时序、理解空间。理解这些之后,它才能在真实环境中走、跳、拿东西,或者给你倒一杯水。
这些指令还需要由大脑翻译成机器人能够执行的东西,这就要求模型具备 function call 的能力。
4. Pelican Enters The World
简单来说,通用模型也是一个脑,它是更通用的脑。但要把这个脑变成机器人的脑,让机器人能够直接调用,对吗?
其实这就是我们这次技术研讨会围绕的主角——你们研发的 Pelican,对吧?
对。这个具身脑模型的存在,就是为了让机器人更好地使用和调用已有的通用 AI 能力。
实际上,刚才也提到了,为什么说具身智能是人工智能的下一个阶段。
如果机器人没有和真实的物理世界发生接触,那么苹果对它来说就是一堆数字,它永远也不会真正成为一个苹果。水对它来说也是一堆数字,也就是所谓的 high-level feature。
我们真正去做具身大脑,就是希望它能够借由机器人的身体,和物理世界发生接触,慢慢甚至产生感情。
到时候你有个电子男朋友,永远 18 岁。
有道理。
那我们可以先播放一段演示视频吗?
刚才我们讲到了大脑和小脑的概念。如果把大脑的一些标志性能力拆解出来,我理解它包含但不限于空间感知、空间理解、决策推理和判断,然后再规划完成任务的路径。有没有一个视频能够体现这样一个过程?
有的。这个视频主要展示的是我们模型在进行长程任务推理与规划时的表现。
现在人们对具身智能有很高的期待,希望机器人可以做家务、做饭,完成一些很复杂的任务。大家可以看到左下角有一个屏幕,这是我们把具身大脑模型部署在 agent 系统上之后,它生成的场景规划和任务决策。
它是一串代码,对吧?
它会告诉大模型这些工具分别有什么作用,比如捡一只鞋子之类的。大模型规划出来之后,会调用这些工具,执行相应的操作。
前面提到的空间理解,并不是所见即所得,不是只看到当前的东西,然后基于当前画面进行规划,而是需要思考之前看到了什么、每个东西在哪里。只有这样,它才能进行全局规划。
另外,它还要知道自己具备什么技能,这也需要大模型去理解。机器人有两条手臂,还需要判断当前应该用左臂还是右臂完成任务。
比如现在一条手臂上有衣服,它只能用另一条手臂开门。大模型就需要做出比较好的指令规划,告诉机器人用左臂开门、右臂拿衣服。
它还要自己判断任务是否成功。比如洗衣机门一次没有关上,它可能还需要重试。这些都依靠大模型对场景和空间的理解能力来完成。
5. Why Vision Models Fail In Space
我理解,VLM 其实不是今年才诞生的,应该已经存在很久,也经过了很多迭代。
在你们之前给我的介绍里,Pelican 是一个 VLM 的大脑模型,扮演的是视觉语言大脑的角色,对吧?这个视觉语言大脑,其实就是从 vision 到 language 的过程。
过去的 VLM 为什么做得不够好?它存在哪些问题?
实际上,我们理解的 VLM 更多是语言偏好的。它是基于语言模型发展出来的一种多模态模型。有时候我们蒙住它的双眼,它依然会幻觉出很多东西,这些内容实际上都是从它内部的语言信息中产生的。
另外,它是不是真的理解视觉,也值得讨论。李飞飞老师之前提到过很多空间相关的问题。包括去年我们做一些看似很简单的事情时,也发现 VLM 对空间的理解并不好。
Joy,你可以回忆一下我们之前做的那个实验。
我们当时设计了一个任务,拿几块积木随意摆出一个形状,让机器人根据这个形状搭出一模一样的结构。
首先,机器人或者大模型需要理解这个形状。我们测试了当时一些比较好的通用多模态模型,包括 ChatGPT 等,发现即使是简单的 3 块、4 块积木叠出来的形状,2、3 岁的小孩都可以参照着摆出完全一样的东西,但大模型做不到。
这和刚才提到的空间理解问题是一样的。李飞飞老师也做过类似的事情,让大模型理解空间关系、理解迷宫,但大模型普遍表现得不好。这是当时让我非常痛苦的一点。
你痛苦的是,调用了世界顶尖的多模态模型,试图复现一个三层乐高这样很简单的积木结构,却发现它做不到。
对,感觉这是一件不符合常理的事情。我们对大模型空间想象能力的期待,已经被其他任务扩展得足够大了。它可以写诗、做数学题、做物理题,几乎什么都能做,结果让它搭一层积木,它却不能搭。
所以你们之前做实验时,是让模型在虚拟空间里复现积木,还是把模型接到机器人上,让机器人去搭?
是接到机器人上。我们发现机器人连一层积木都搭不好,甚至是在胡说,完全 get 不到。
比如告诉它“这是最大的一块积木”,它还是无法理解。让它“把最大的一块积木挑出来”,它也没有办法挑出最大的那一块。
一个通用的多模态模型,应该明确知道哪一块是最大的。但接到机器人身上之后,它这个大脑就没有办法运作了,是这样吗?
对。除了颜色和形状的混淆之外,它对物体之间的距离关系、相互依赖也理解得比较弱,无法完成搭建和还原。
第二,它不知道自己有什么能力可以操作这个物体,也不懂得如何规划合理的搭建顺序。这就是为什么我们要从大脑层面去做它的 affordance,做它的 CoT 思维链,让它能够进行更好的规划和推理。
所以刚才说的乐高例子,其实呼应了李飞飞老师提出的观点:当前大模型的空间感知能力,甚至还不及一个 3 岁小孩。你们在实验过程中也深深感受到这一点,对不对?
对。我们和李飞飞老师几乎是同时关注到这个问题的。做乐高实验时,正好也看到了她发布的空间感知相关研究和第一个数据集,所以我们几乎同时开始关注这些问题。
经由李飞飞老师这样的科学家推广,我们也意识到,VLM 不仅要能够看视频、讲清楚视频里发生了什么,还需要具备更多能力,感知空间关系。
国内一些比较好的开源模型现在也在慢慢跟进这件事。
过去所说的 language-based 大模型,基本都是基于互联网二维世界里的数据训练出来的,不管是文字、多模态数据还是视频,本质上都是二维数据的模型,所以它自然只有二维世界的感知和理解能力。
但要让机器人在现实世界里动起来、解决问题,现实世界的数据是三维、立体且多面的。这也是为什么它可能看一个视频,看一万遍“如何把桌上的这杯水拿起来”,却依然不会在真实世界里操作,因为那个视频是二维的。
这是从通用多模态模型到具身脑模型的一个很大差距。那你们怎么解决这个问题?从哪里着手?
6. DPPO Trains The Weaknesses
终于到了介绍我们如何让 Pelican 变得更强的环节。
我们提出了一个算法,叫 DPPO,全称是 Deliberate Practice Policy Optimization。这个算法起源于人类的认知心理学。
举个简单的例子,假如你是一个准备高考的学生,要复习一门科目并取得好成绩。你可能先经过几年的学习,建立一定的基础。有了基础之后开始做题,拿到一份考卷,把 100 道题做一遍,发现有 50 道不会。
你就把这 50 道题拿出来不停复习。复习之后发现还有 30 道做不出来,这时可能请老师或者找更有经验的人请教。学会这 30 道题之后,就可以进一步做更难的题,或者做更深入的其他试卷,一步一步考入理想的学校。
人类大概就是这样学习的。我们认为,训练具身大模型也需要类似的学习过程。
我们刚才提到,具身大模型一开始是一个通用大模型,可能连机器人怎么区分左右手,或者杂乱的桌子上哪里可以放水杯,这些概念都没有。
所以我们在训练过程中,也借鉴了先总结弱点,再有针对性地学习,最后深入学习更难问题的思路。
具体来说,大模型训练范式里有两个阶段:一个叫 RL,也就是强化学习;另一个阶段叫 SFT,也就是有监督微调。
一开始的强化学习,就像做难题、做错题的过程。模型会不停做题,一道题可能做 10 遍,偶尔做对 1 遍。这时就让模型自己复盘:为什么这一遍做对了?这样它可能就把这道题学会了。
它不停学习,最后总结出 20 道或者更多完全不会的题。这时候就请 SFT 老师,也就是名师,一对一地讲解这些题,告诉它题目应该怎么做,把知识灌输到模型里。
这样一来,之前不会做的题可能已经学会了 80% 或 90%,接下来就可以继续学习更难的问题。通过这样的过程,我们可以慢慢让一个通用模型学习到具身场景。
这种学习也像人一样。人不会因为学会了开车,就忘记怎么骑自行车。模型也不会因为学会了左右关系,就忘记之前看视频的能力。
我担心直播间里有一些对机器人领域非常感兴趣、但还是技术小白的朋友,我来帮大家复习一下刚才 Joy 说的 DPPO。
我看了一下,DPPO 的全称是 Deliberate Practice Policy Optimization。你们给我的资料里写着,这个训练循环大概可以拆成:先让模型看视频,视频指导它不停自主练习。也就是说,机器人到现实世界中去练习某个任务时,有时候会成功,有时候会失败。
就像刚才备考学生的例子,它一定会先自己把所有题做一遍,知道哪些题会做、哪些题不会做。那些不会做的题可能再试一次,但还是不行。
我理解,模型自己探索、自己练习的过程就是 RL,也就是强化学习发挥作用的部分,让模型自己探索。当它发现自己的弱点之后,就需要进行微调,也就是监督微调。
对,它是一个把模型专家化的过程。
7. Quality Beats Data Volume
这里我想提一个很有意思的概念。之前我听说,行业里现在有一个趋势,不管是训练通用大模型,还是训练具身脑模型,大家都很喜欢堆数据。
当然这背后有理论依据。我之前做功课时听到一个来自硅谷的重要判断:他们把行业里几家公司的大型样本数据库汇集到一起,在海量数据库中发现了新的智能,于是得出一个结论——数据集越多样化、任务越多样化,就越能带来更高的智能。
我很好奇,我们走的是这种硬堆数据、scale 数据的方式吗?还是追求另外一种质量优先的方式?
我们觉得 scaling law 肯定是对的,它一定存在。但对我们来说,尽可能多地收集数据,未必是训练一个非常强的模型的最佳实践。这个原因可以请我的老板来说一下。
本来应该听他们说。
老板说一下。
实际上是这样的。我们为什么要用视频数据?视频包含很多信息,包括前面说到的时序信息,以及空间信息。
一张图片可能不足以确定物品之间完整的空间关系。但人有两只眼睛,左眼、右眼从不同角度观察,两个视角结合起来,就能形成物品之间相对位置的关系。
通过视频视角的移动,我们也能够在一定程度上学习物品之间的空间关系。通过观看二维视频,可以获得一些对空间和物理的理解与认知,只是不能达到 100% 的理解。
那反过来,像 Open X 这样的数据,它的信息是不是更加丰富?比如机器人操作、物理交互,以及机器人本体的感知、运动等信息,都包含在数据集里面。
现在这些模型的训练方式,能不能高效地把这些营养吸收进去?还是说并不是这样?
可能现在更多像一头大象。它每天要吃几十公斤的食物,体重才能增长一点点,智商也只能增长一点点。
如果我有非常充足的资金、很多卡、很多数据,当然没有问题。但这不是我们这样的创业公司能够具备的条件。
所以我们为什么要设计 DPPO 这样的算法?其实就是要精雕细琢自己的每一个配方,让数据利用效率和训练利用效率达到最大化。这样即使我们的人员很少,依然能够训练出一个性能不错、可以和当前市面上大模型一较高下的模型。
你刚才举了一个非常好的例子。一头大象每天要吃几十公斤食物,但大象的智能虽然已经是哺乳动物中比较高的,却还是没法和人类相比。
人每天其实只需要消耗相对少的食物,但大脑的运转速率和智能远超大象和其他动物。所以我们在有限数据库里,也可以努力把脑模型的智能做到业界领先,可以这么理解吗?
对。
这是创业公司的通用选择吗?
对。我觉得这既是创业公司的选择,也应该是未来所有大模型厂商的选择。
现在算力投入越来越高。2023 年我们看到红杉发布的报告,讲的是 AI 的 2,000 亿美元问题,讨论整个训练过程对算力和能源的消耗。付出这么巨大的成本之后,我们得到的东西在当时可能还相对有限,ROI 很低。
到了 2024 年,过了一年,文章标题已经变成了 6,000 亿美元的问题。如果不能解决大模型训练效率和数据利用的问题,这种持续投入对每个厂商、对每个国家来说,都会是非常沉重的问题。
对我们来说压力也很大。我们每天面对那么多卡的账单,非常惊人,晚上都不敢睡觉。
我那天听到一句话:自动驾驶花了这么多年,去采集物理世界的路况、位置信息,到现在还没有完全完成这项工作。物理世界比路况庞杂很多倍,而我们现在才站在一个非常早的起点。
如果要让机器人吃透物理世界,其实还需要攻破很多颗粒度比较细的难点,让它最大程度地学习和训练,是这样吗?
你们刚才还提到一个很有趣的点:通过 DPPO 这种训练方式,使得模型今天学了任务 B,也不会把任务 A 忘记。
如果用好学生来比喻,前面学会的东西都是自己探索学会的,不会因为明天做了一道更难的题,就不会做那道简单的题了。是不是在行业里堆数据的方式下,更容易出现模型“失智”的情况?比如现在可以获得奥赛金牌,明天问它一个非常基础的问题,它突然就失灵了。
对。在模型容量比较小的情况下,格外容易出现类似的事情。
什么叫模型容量?
容量就是参数量。
实际上我们发布了 7B 和 72B 两款模型。可以把模型想象成一个存储空间。7B 模型的参数量比较小,能够存储的知识有限。突然堆入大量数据之后,很有可能把它从原本学到的分布中拉走,导致原来的东西都忘掉。
这也是我们要解决的问题,也是为什么我们发布了 72B。它应该是目前具身领域参数量最大的开源具身脑模型。
什么情况下用 7B 更合适?什么情况下用 72B 更合适?
这里可能有两种考虑。
第一,如果希望模型具有非常强的理解能力和通用能力,比如在商业场景或者家庭场景里,人的需求无穷无尽,这时希望它有比较好的泛化效果,就可以使用 72B 的云上大脑。
如果是一些受限的工业场景,流程相对固定,其实没有必要使用 72B 这么强的理解能力,7B 就足够了。
另外,具身智能还是大家普遍想要研究的一个重要方向。很多学生或者科研院所没有办法真正训练或者运行 72B,那么 7B 也是一个非常不错的骨架。
我们刚才一开始也聊到,VL 是 VLA 最重要的部分。后续我们可能计划开源更小的 3B 模型,为 VLA 的基础研究提供更强的基座,让大家在下游任务中获得更好的性能。
明白。
8. Pelican Proves Its Edge
这次 Pelican,我之前看你们给我的资料,里面有很多非常 sharp 的词,说它在很多模型性能上的表现都非常好。来介绍一下 Pelican 模型,它有什么特点?
接下来我给大家展示一下模型的一些核心表现和关键成果。
首先,这张图展现的是我们的模型与 100B 以下开源模型之间的性能差异。白色部分是我们的基座模型,也就是 Qwen2.5-VL-72B 的表现;红色部分是 Pelican 的表现。
可以很直观地看到,在 DPPO 框架的带领下,我们的模型在众多 benchmark 上都获得了比较显著的性能提升。
从评测维度来说,我们选取的 benchmark 全面覆盖了具身智能领域的一些典型传统任务。比如 Where2Place 这个 benchmark,展现的是 free space 任务。
什么是 free space?
举个例子,我需要机器人过来,把一壶茶放在桌子上。它需要知道哪里可以放,不能直接放在杯子或者花盆上,也不能放在已经有物品的位置。
这就是一个 Where2Place benchmark。
另外还有可以检测物品位置的 RoboSpatial,以及让机器人从第一视角理解通用场景的长视频任务。平常无论是图片还是视频,可能都比较短,但我们需要模型对一长段视频具备理解能力。
在这些 benchmark 上,我们都实现了比当前开源和闭源模型更好的表现。
也就是说,图上有很多节点,每个节点代表某个维度的 benchmark。红色代表这次 Pelican 的表现,它在每一个节点上获得的分数基本都是最高的。
对。除了刚才提到的具身领域传统能力之外,我们还选取了一些业界重点关注的能力,比如英伟达发布的、用于衡量物理常识推理和具身决策能力的 Cosmos benchmark。
它可以判断机器人的动作是否已经完成,以及为了完成目标,下一步应该做什么。
那真的很难。你觉得呢?
我认为挺难的,因为接下来还有其他模型失败的展示案例。
我们给模型一段视频,同时问它:现在的目标是把锅里的寿司拿出来,那么在这段视频之后,机器人下一步应该做什么?
右边是我们同时在 Pelican、基座模型和 GPT-5 上进行的测试。只有我们的模型判断出任务已经完全完成了,因为视频里机械手已经把寿司夹出来了。
也就是说,任务已经完全完成,接下来不应该做任何操作。只有第一个框里的模型写的是“stop”。
对。
这其实是公众或者不做这方面的人感受不到的地方:为什么一个这么简单的任务,现在的大模型反而做得没有那么好?
这是一个典型任务:让模型看一段视频,看完之后判断它是否理解了视频。事实上,其他模型都没有理解这个任务。
但对机器人来说,这一定是必须具备的能力。只有判断任务是否完成,才能知道下一步要做什么。总不能寿司已经被甩出去了,它还去做其他事情;或者它认为任务没完成,又把寿司夹起来拿到别的地方,结果把任务做错了。
对。
在这场直播前两天,李飞飞老师刚刚发布了一篇万字长文,讨论当前空间模型的能力问题。其中提出,世界模型有 3 个非常关键的能力:多模态理解、交互和生成。
我之前看过她的世界模型演示,其中有生成能力,和我们现在使用的多模态通用模型很像。输入一段文字,比如“请帮我生成一个温馨的客厅,客厅里有 3 个美女和 1 个帅哥坐在沙发上”,它就能够生成一个栩栩如生的空间,而且连贯、一致。
这是我理解的 3 个能力中的生成能力。那前面两个,多模态理解和交互能力,是不是也是 VLM 的关键?
对。
刚才展示的模型在长程任务规划中的表现,就是一个例子。Pelican 可以接收自然语言指令,同时感知环境,记住场景里的物品。
比如它刚才感知到鞋子随意摆在鞋架旁边,衣服散落在沙发上,这些内容它都可以记住。之后,它再根据人的指令,自主分解任务,生成子目标。
它把字写出来的,就是模型思考、推理的过程,对吗?
对,这是模型的思考内容。刚才红衣服女生下达了指令,它也会生成相应的动作指令。
这里还用到了模型中一个非常重要的函数调用模块。大家可以在右下角的 terminal 里看到,我们调用了很多动作工具和环境感知工具。
因为左下角那个……
对。函数调用对机器人来说非常重要,因为函数把指令、大模型的理解和真正可执行的部分串联起来。
我们需要把大模型理解到的内容转化成具体可执行的指令,交给下游的操作和移动模块,机器人才能执行对应的动作。
刚才视频里,女主人给它下的指令是:“我要去上班了,请帮我把鞋子放到鞋架上,把垃圾放进垃圾桶,把衣服放进洗衣机里。”
这是一个长程任务,因为涉及很多子任务,也需要复杂的轨迹规划,对不对?
对。而且我们的模型不只适配这一个场景。刚才跳过的另外两个泛化场景,也同时在商超和实验室进行了测试。
我们希望这个大脑模型可以适配多个场景,不管是从实验室到商超,还是从实验室到家庭。我们的目标是让智能不再停留在屏幕上,而是进入真实世界,这也是具身智能落地的过程。
说到这两个场景,就唤起了我今年参加世界机器人大会的一个记忆。当时我去看各家机器人的展台,也看到了你们的展台。
我发现大家最高频展示的两个场景,一个是商超,另一个是搬运货架。这些是不是大众现在期待最高,也认为机器人最有可能落地的场景?
对。商业服务相对来说,落地的可能性还是很高的。
除了刚才说的具身推理 Cosmos 之外,我们还在一些物理常识推理评测集上进行了评测,也和其他模型进行了对比。
像这种题目,可能是我们高中或者初中经常遇到的。救命,我不会做,我也不会做。
没关系。我们的模型会计算一个完整循环中所提取的热量以及对应的输入。
我不知道模型算得对不对,但这确实是一道比较难的物理题。
对。不过我们的模型相较于其他模型,表现会更好。
物理理解和推理能力,是多模态脑模型里非常重要的一项能力吗?
非常重要。物理就是理解物理世界的规律。如果没有物理知识,就意味着它很难理解物理世界的规律。
假如现在有一个机器人不知道杯子倒了水就会洒,它永远做不出相关判断。
当然,刚才的物理题只是为了展示模型能力而选择的题目。真实自然环境中也包含很多物理现象,模型必须理解这些现象。
比如前面突然跑出一只小鸭子,机器人必须停止运动,或者躲开它。它要根据对小鸭子速度的理解,判断需要多久停止,再做出合理的判断和规划。
自动驾驶也一样,需要理解加速度等物理知识。它必须计算:如果这辆车以某个速度向我驶来,几秒之后可能发生碰撞,我需要在多少秒之内做出反应。
真实生活中可能无处不在物理,而且更加复杂。机器人可能需要懂电,也要懂热。比如衣服晒完之后什么时候应该收起来,灯泡坏了要怎么修,它需要理解的东西非常多。
这是物理能力的测试,还有其他的吗?
还有。我们希望机器人能够正确识别场景中物品的具体位置。
机器人不像人可以直接伸手去拿,它需要先进行轨迹预测,再确定动作的落点。这个视频主要展示的是:我们给模型一个场景描述,任务是把面包拿到盘子上。
它首先要正确识别面包和盘子的位置,模型对移动轨迹进行预测,然后成功执行任务。
我之前和机器人行业交流时,作为一个小白,一开始很难理解:人看到一串挂在空中的钥匙,手可以精准地拿到它,知道手应该停留在什么位置,然后抓住它。
但对机器人来说,精准判断物体位置、规划轨迹动作,其实非常难。
对。它首先需要确定面包和盘子的位置,然后规划手应该怎么移动,才能准确地把面包抓起来,并放到盘子中央。
甚至如果拿的是一个倒着放的杯子,夹取角度也会发生变化。这些都需要大模型判断:到底应该这样夹、那样夹,还是用另一种角度夹,哪种方式抓取得更好。
这让我想到,之前陪人形机器人进工厂时,他们分享过一个很好的案例。
他们一开始想让机器人替代最复杂的工种:有 10 种零件,需要分别挂到不同的挂扣上。传统人类工人要识别这些零件,再把它们挂到对应位置。
一开始科学家和工程师觉得机器人应该很容易做到,但最后发现非常难。之前我不理解为什么这么难,现在知道了:对机器人来说,规划轨迹、精确识别空间位置,本身就很困难。对吗?
对。
理论上,你们的脑模型可以精确判断,然后精确放置吗?
肯定可以。但世界是无比广阔的,我们只能说,在现有数据的基础上尽可能做好。
有些问题确实是模型原本就比较难解决的,就像考试一样,我们还没有考到那里。这个过程也是慢慢升级的过程。
所以我们把这个模型介绍给大家,希望大家更多地使用它,也给我们更多反馈。
我想再追问一个技术难点。我之前了解到,让机器人抓一个硬的物品相对容易,但抓一个软的东西相对困难。我不太理解这是为什么。
9. Affordance Enables Dexterity
这里首先需要引入一个非常核心的具身智能概念,叫作可供性,也就是 affordance。可以先调到那一页 PPT。
可供性最早是在 1977 年由一位心理学家提出的。它指的是,人类可以通过物体的外形和功能,判断它可能被执行的动作。
比如看到一个空的垃圾袋,我们用两根手指就可以把它提起来;但如果看到的是一个装满水果、鼓鼓囊囊的垃圾袋,就需要用不同的动作抓住不同的支撑点,把它托举起来。
再比如门把手有很多类型。如果是长条形把手,你会先压下去,再推开;如果是圆形把手,你会知道要先拧,再推开。这些都是可供性的例子。
大家拿茶壶倒水时,会知道捏住壶柄去倒水。但机器人不是人类,它一开始可能会捏着壶嘴去倒水,这样就是错误的。
所以,学习可供性对于具身智能来说非常重要,这也是我们大模型的一个很强的能力。
刚才说的感知,到现在说的抓取和放置,之后还会介绍柔性操作和长程规划,本质上都源于对可供性、空间关系和时序的理解。我认为,这是智能体从认知世界到物理世界的重要闭环。
下面我给大家介绍 3 个下游任务。
第一个下游任务叫多视角逐步生成可供性。首先可以看到,每张图上都有 3 个视角,是 3 个摄像机从不同角度拍摄同一个场景。
我们把多视角输入交给 Pelican 理解,它可以一步步推断哪些物体可以交互,哪些位置适合抓取,哪些地方更适合放置。
同时,在不同视角下,同一个物体要保持一致性。比如这根香蕉,在不同摄像机的拍摄角度下看起来完全不同,但我们需要让机器人理解这是同一根香蕉,并完成正确抓取。
之后,我们通过一个从 2D 到 3D 的三角化过程,把理解转化成具体的动作坐标。
下面两个视频主要展示了模型自主规划、从抓取到放置的过程。可以看到,模型首先生成轨迹并拆解子任务,接着生成非常精确的 bounding box,也就是框预测。
机器人通过这个框以及 grasp point,缩小目标范围,对吗?
对,这也是它理解可供性的一个重要部分。
这里其实分成两个部分。
第一,VLM 本身具有开放词汇的理解能力。所谓开放词汇,就是它看到的东西基本都能理解,还可以加上形容词。比如我说“我要那个小小的苹果”,或者“我要那个可爱的苹果”,大模型能不能理解这个东西?
这就是开放词汇的理解能力,也是泛化性和开放词汇理解。
但我理解,刚才说的 affordance 是指,当我面临一个任务时,需要计算出一个最优解去完成这个任务。
对。当它认识这个词汇之后,再加上 affordance 能力,它就知道怎么操作这个物品。
再加上前面提到的 Where2Place,也就是判断最合理的位置,就可以完整地传输一个 pick-and-place 任务。
我理解,affordance 对于真正的技术落地场景来说很重要。
刚才我们讲了,affordance 其实是面对一个任务做出最优解的能力,也是一种计算。面对大小不同的任务,规划时投入的资源也不一样。
当机器人落地到生活、消费和工业场景时,如果只是简单任务,就不需要消耗很大的算力;但如果要做复杂任务,可能就需要调用更大的算力。
所以你们引入 Pelican 这个大脑,来帮助它进行力控估计,对吗?
对。这张图是 Pelican 大脑的解释图。
可以看到,和人脑一样,Pelican 有视觉部分,同时也可以做小脑规划和短时记忆闭环。
传统机器人能够看见物品,却不理解物品的性质,也不知道应该施加多少力。Pelican 会像人一样,先观察物体的形状和材质,大脑根据经验预估力量。
同时,力觉算法会根据手指的触觉反馈修正力量,并把信息存入 memory 模块。这样下次遇到相同物品时,只要 Pelican 看到它,发现之前抓取过,就可以用相同的力量,让抓取变得更准确、更快、更高效,也更经济。
实际上,这也是前面提到的物理知识,包括对开放词汇和任意物品的理解。模型要理解这个物品有多大,估计需要施加多大的力,才能把它捏起来而不捏碎、不捏扁。
然后再交给触觉传感器去执行和修正,最终实现灵巧地拿取各种物品。
明白。所以力控是不是具身智能领域里一个比较难的技术点?
现在 VLA 能力控吗?
可能 VLA 的方式需要采集更多力接触相关的数据。
但如果有两种外形一样的物品,材质不同,模型就有可能判断错误。所以我们这边还有一个实时反馈机制。
模型可能先判断:这是某种硬度。但一抓发现不是,就会及时修正,然后重新存回大脑,进行更新。
如果用 VLM 和 VLA 两种方式训练力控能力,会有什么区别?
VLA 的话,就像刚才鞠笑竹说的,可能是见过某一种物体之后,不停采集这种物体的数据,把物体和相关的力的信息学到模型里。
但如果物体换了颜色、换了形状,VLA 可能立刻就忘记,不能再做相关理解,也不能用相同的力,或者在原有基础上调整力量。
因为现在的 VLA 可能更多是过拟合到原来的操作轨迹上,没有充分利用大模型提供的可控性,以及它对整个世界的理解。
如果它真正充分利用 VLM 的知识,应该能够达到泛化效果。问题可能在于训练 action 的部分,更多拟合了原来收集的抓取、放置等操作轨迹。
10. The Data Work Behind Intelligence
我之前和你们聊到,VLA 和 VLM 两种采集数据的方式也是不同的,对吗?
现在看到的 VLA,大家好像都在用一套遥操作设备。人通过握住一个操作接口去遥操作机械臂,让它直接和物体交互。
对。它对力其实没有感知。我们刚才也亲自上手试过,可能不管抓什么东西,都会一下子捏到底,抓起来之后就算完成了。
而基于 VLM 的模型,天然对材质、摩擦力有更充分的理解,因此可以完成更有知识、更有温度的抓取,至少不会那么粗暴。
我觉得刚才还没有讲得最准确。
我之前和你们沟通时的理解是,VLA 现在采用的遥操作数据采集方式,仍然是由人来完成任务。人通过遥操作系统不断完成任务,在这个过程中收集端到端数据,再训练模型,这就是 VLA 的训练方式。
但 VLM 这边,其实是刚才说的 DPPO:把脑模型接到机器人身上之后,让机器人自己不停操作任务。
一个是机器人自己不断重复,一个是人不断重复,两个主体不一样。这是采集数据的区别。
VLM 可以努力发展成 24 小时的“牛马”。只要机械臂不需要休息,我们就可以不停采集数据。
这些数据其实对训练 VLA 也有用。而且因为它具有比较强的泛化性,不像 VLA 那样,抓过一个东西之后,换另一个东西,又需要采集同样数量的数据,再重新训练一遍模型。
我们想做的就是刚才提到的可控性,希望模型充分理解一类物品的抓取方式。这是未来我们会和内部 VLA 团队一起做的事情。
你还是没有直接回答我的问题:既然你们已经有一个团队在做 VLM 模型,为什么还有另外一个团队做 VLA 模型?
这正好是两个团队分工不同。
VLA 团队更加注重 action,我们更加注重前面的理解部分。后面更重要的事情,是把我们的知识充分输送给他们,让他们的模型具有更强的泛化性、更高的成功率和更好的效果。
而且 VLA 相对更小,更适合部署在端侧,让机器人实时完成任务。其实这两个模型是互补的。
这次 Pelican 用到的数据集有多大?
大概 180 万条数据。
这个体量在行业里大概算什么水平?
算中等偏低。
不过,我们和之前的具身模型有两个区别。最重要的一点是,我们使用了更多视频数据。所以听起来 180 万可能比较少,但实际上视频数据非常多。我们在长视频理解能力上的表现,也比其他具身模型更好。
除了视频之外,数据集里还包括其他数据吗?
包括刚才提到的图片。我们需要理解物体的位置,也需要做 bounding box 检测,这些数据都包含在训练数据集里。
还有问答、选择题等数据。
当我们说一个具身智能数据集时,里面包含的数据维度非常丰富,因为它需要具备的能力本身也是丰富的。
我听说数据集清洗非常费人,是这样吗?
是的,而且非常容易犯错,需要花很长时间逐条查看、仔细处理。
刚拿到数据时,数据会比较杂、比较乱,都是我们自己分析、处理出来的。首先要由人判断哪些数据对模型有用,需要认真查看,再通过一套逻辑预估这些数据对模型是不是有正向作用。
这个过程既包括人眼判断,也包括借助模型筛选数据。需要非常细心。
百万量级的数据,说多不多,说少不少,但真正全部过一遍,也需要很大的力气。
这让我想到最近行业里一个挺火的话题。MiniMax 公布新模型训练工作时提到,其中很多工作都是实习生完成的,行业里就调侃说,在现在的大模型训练浪潮里,实习生是第一生产力。
对,正好我们这边的北大实习生也是第一生产力。
Yoyo 是实习生,对吗?还没有毕业?
对,我研二在读。
可以给大家分享一下你学的是什么专业吗?
我本科是浙江大学信息与计算科学专业,学数学。后来想考计算机,就考到了北京大学软件与微电子学院。
我觉得学计算机还是要接触更多外部资源,所以研一就在这边实习,接触到整个项目,觉得非常幸运。
这次把这么年轻的女性工程师团队带到直播间,是怎么考虑的?
其实她们的能力比我强。
昨天和 Yoyo 聊的时候,我得知她很小就开始参加比赛,对吗?
对,我小时候学竞赛,一直学到现在。
所以她是我们最强的代码手。
对,除了我。不要跟我比,我负责制定战略。
明白了。
这次为什么把这么多年轻面孔带到直播间,和大家交流?因为她们确实承担了非常重要的工作。
其实有很多契机。
第一个是我们之前做视觉模型直播时,大家都夸小伙子们很帅。那次相当于是展示了我们整个大脑体系的一半,所以这次我们想展示大脑的另一半。
这个过程中我也想到,女性科技工作者在最前沿、最新的方向上,同样发挥着非常重要的作用。她们为前沿方向的持续攻关付出了很多。
所以我们想借着这次开源的机会,让她们一起和大家分享,也欢迎更多伙伴加入具身智能行业,让它真正有一天能够落地,成为大家喜欢的技术方向。
我接到你们邀请、来主持这场直播时还挺兴奋,因为当时同事跟我说,这是一个“全女局”,有 3 位优秀的女性工程师和我一起。
这位是我临时拉来的。昨天沟通直播内容时,我觉得鞠笑竹讲得很好,对行业的理解也很深。而且我觉得也不能是全女局,还是要把男性拉进来。
最终我们是要打破性别偏见,一起为科技作出贡献。
我之前看过一份研究报告,说 STEM,也就是 Science、Technology、Engineering 和 Math 这 4 个领域,女性在职业中期的流失概率会非常高。
可能因为女性的生育、家庭角色和责任,让我们在科学世界里看到的女性似乎比男性少很多。但我觉得现在是一个新时代,也需要看到女性在硬科技领域中的贡献。她们是非常重要的力量。
所以我觉得,今天这场直播如果能让大家看到女性面孔,对我来说是一件特别振奋的事情。
那你觉得这个行业对你来说有意思吗?可以给大家分享一下,在写代码、做大模型研究时,你真实体会到的快乐是什么样的?
我觉得还是取决于个人性格。不能说女性就没有办法沉下心来做这些事情。
就我个人的性格而言,我从小到大都比较喜欢独处,喜欢一直钻研一个问题,然后把它解决。代码这份工作非常符合我的性格:抛给你一个问题,你一个人一直钻研,最终把它解决,我觉得很有成就感。
我也很幸运,从小到大的环境里,女生学竞赛的也不少,父母也比较支持,所以一直没有感觉到特别大的阻力。
也没有遇到太多偏见。包括 Joy 和鞠笑竹,他们也不会觉得一定要招一个男实习生,对不对?这是一个非常和谐的团队。
最后我们再聊一个小问题。
11. The Open Source Bet
今天我们说 Pelican 是一个参数规模最大的开源模型,意味着刚才提到的 7B 和 72B 两个模型都开源给整个行业了。
今年开源也是一个很重要的趋势。你们在开源时是怎么想的?
我觉得开源是一种分享成果的方式,也会让更多人认识到我们这个团队和公司。
我们目前还处在比较初创的阶段,也希望把研究成果分享给大家,让更多人加入这项研究,大家一起进步。
那你不害怕模型被 challenge 吗?
没关系,大家尽管提建议。我们特别需要很多人试用这个模型,和大家一起进步。
另外,从行业角度讲,我们也希望在具身智能领域复刻互联网、计算机和人工智能等领域的开源生态,让整个技术更加繁荣,找到自己的应用场景,实现真正的技术落地。
这也是我们开源的重要原因。
在具身智能领域,现在技术还没有收敛,对不对?
对。包括我们之前提到的为什么先做 VLM,因为 VLA 本身可能还没有收敛。
但我们至少可以提供一个相对不错的基座,支持大家持续研究,而不是拿来一个通用模型之后,还要重新训练它各个维度的能力。
我之前了解这个领域时,有一点比较确认:VLA 的训练技术路线现在非常不一致。
如果把 VLA 理解成 VLM 加 action,那么 action 接口就有各种各样的尝试,这是一条更加发散的技术路线。
我很好奇,在 VLM 领域,技术路线相对收敛吗?还是说其实也仍然发散?
我觉得目前处于一个比较稳定的阶段,但后续我们也会做更多尝试,包括接入更多模态。
之前可能主要有视觉、音频和文本,后续还会接触触觉,以及其他模态,包括深度信息。这些其实不是通用模型能够完成的事情。
我是否可以这样理解:真实物理世界非常复杂,也非常广阔。
今天我们说机器人可能是一个比汽车更大的市场,但现在技术路线还没有收敛,机器人的能力也处在非常早期、非常不成熟的阶段。
所以当我们把成果开源出来,就可以有更多人加入进来,一起探索技术,一起填满这个市场。
对。我们非常接受大家的建议。这样我们才能更快迭代出 V1、V2、V3。到 V3 的时候,说不定就是我们的 DeepSeek 时刻。
好的,也很期待你们的 DeepSeek 时刻。
最后跟观众告个别。欢迎最重要的天工机器人。
这是我第一次近距离接触天工机器人。要不你跟它打个招呼?
哈喽,天工,你好呀。
天工机器人
我叫天工,是北京人形机器人创新中心大模型开发团队研发的天狐多模态大模型。请问有什么需要我帮助的吗?
好的,我们的中文名叫天狐。
天狐,就是鹈鹕的“狐”,因为我们的 Pelican 这个名字背后有一个网络梗图,可以给大家放一下。
我们的基座模型实际上是千问,而千问的卡通形象是卡皮巴拉。卡皮巴拉当时也很受女生喜欢。有人发现,动物园里的鹈鹕总是被它的“员工”吃,也就是被它的同事吃。
我们就觉得,Pelican 可以吃掉任何东西,吃掉卡皮巴拉也可以,吃掉小金鱼也可以,吃掉豆包娘也可以,所以设计了一个比较卡通的形象。
所以叫 Pelican。
它是“狐”的意思,英文不能说 eat,要说汲取,汲取对方的智慧精华,站在巨人的肩膀上。
要跟天工继续互动一下吗?
天工机器人
你好,请到我正前方来,开始与我进行语音交互。
天工机器人
视频展示了一只鹈鹕和几只水豚在户外互动。
鹈鹕站在画面中央,长喙靠近一只水豚的头部,似乎在啄或触碰水豚。水豚们围绕在一个红色的喂食盘周围,其中一只水豚被鹈鹕的喙轻轻触碰,显得有些困惑或好奇。背景中还有其他几只水豚在活动,整个场景非常有趣、生动。
搞笑的地方在于,鹈鹕用长喙轻轻触碰水豚的头部。这种不寻常的互动让人忍俊不禁。鹈鹕的动作看起来像是在亲吻或给水豚挠痒,而水豚则显得有些不知所措,这种反差萌的情景非常有趣。
机器人的动作精准,舞姿流畅,令人印象深刻。
拜拜,拜拜。谢谢我们的机器人朋友。
今天非常感谢这么多观众陪伴我们走完这段很长的直播,也很荣幸能够和大家交流这么深入的技术问题。非常期待你们的 DeepSeek 时刻,也期待整个行业的 DeepSeek 时刻。
好,谢谢。
谢谢大家。
好了,这期节目就到这里,感谢你的收听。欢迎在评论区留下你的听后感,这期节目也已经在苹果 Podcasts、网易云音乐、微博、QQ 音乐、豆瓣等平台同步上传。哦对了,欢迎关注我的公众号、B 站账号和小红书,都与播客同名,我会在这些地方不时更新文字思考、视频访谈、采访随笔等等,我们下期再见。