3 月 13 日， 发布了和 合作后的首个机器人 01 的演示：视频中， 的人形机器人，可以完全与人类流畅对话，理解人类的意图，同时还能理解人的自然语言指令进行抓取和放置，并解释自己为什么这么做。

01 具体采用了什么技术，和 Sora 有关吗？

相比过去的机器人技术有什么质的飞跃？以及这对于国内机器人创业者有什么新的启发？

针对以上问题，我们采访了国内大模型和机器人行业的创业者、投资人，以下回答经 Park 整理编辑。

大模型+机器人， 又「截胡」了 李志飞：出门问问创始人&CEO。原理： 类似 PaLM-E + RT-1，而非端到端的 RT-2

原理上，机器人 看起来类似于 在 2023 年 3 月发布的 PaLM-E 和 RT-1 的 组合，而不是 于 2023 年 7 月发布的端到端模型 RT-2。

我们知道，如果机器人要与人进行自然语言交互（比如，人说「把桌子上的苹果拿给主人」），可以大致分为以下两个步骤。

一是机器理解自然语言，并把自然语言转换成机器的抽象计划（所谓 high-level ），这个抽象的计划可能是一系列的简单自然语言指令（比说「拿起苹果」、「把苹果移到人手上方」、「放开苹果」）。

二是把这个抽象计划转换成底层具体的操控（所谓 low-level 执行），既把简单的自然语言指令转换成一系列的具体动作（比如旋转、移动、抓取、放开等基本动作）。

简单来说，RT-1 仅是一个能听懂简单指令的机械臂，完成上面说的第二个步骤，模型中没有思维链，也不具备推理能力。PaLM-E 让机器人有了聪明的大脑，可以将复杂自然语言指令分解为简单指令，完成上面说的第一个步骤，然后再去调用 RT-1 执行动作。

所以，PaLM-E 所做的只是自然语言理解以及 部分的工作，并不涉及机器人动作本身，它是一个 VLM（- Model）模型。

RT-2 则是把以上环节端到端地集成到了一起，它能够用复杂文本指令直接操控机械臂，中间不再需要将其转化成简单指令，通过自然语言就可得到最终的 ，它是一个 VLA（-- Model）模型。

端到端的好处，是通用、能自动适应环境的各种变化，但问题是决策速度慢，很难做到 这种 200hz 的决策速度，比如 RT-2 论文里提到的决策频率是 1 到 5hz，具体取决于语言模型的参数规模。

亮点：既能用到大语言模型的常识和 COT，又能达到人一般的操控速度

视频的亮点是它既利用了大语言模型的常识和思维链 COT的能力，又实现了快速的底层操控，几乎接近人的速度。

比如在视频中，当人说「我饿了」， 思考了 2-3 秒后，小心翼翼地伸手抓住苹果，并迅速给人递过来。

因为 基于大语言模型的常识，明白苹果是它面前唯一可以「吃」的事物，在人类没有任何提示和说明的前提下，即可以接近于人类的反应速度，与人自然交互。

另外，也用上了大语言模型的长上下文的理解能力，比如「你能把它们放到那里吗」，谁是「它们」，「那里」是哪里？这些只有大语言模型才有能力精准抓取长上下文里的指代关系。

是否用到了 Sora?

肯定的是， 与 Sora 一点关系都没有，因为 Sora 现阶段主要是生成，不是理解，就算未来 Sora 既能理解也能生成，是否能端到端做到 200hz 的决策速度也是一个很大的问题。

是否用到了远程操控?

有人觉得视频是远程操控（所谓 ）录制的，但 创始人 Brett 强调了视频不是 ，录制速度也是 1 倍原速度，所以视频中能看到回答问题的明显延迟（因为语音识别、大语言模型、TTS 是通过 方式连起来的，都需要计算时间）。

是端到端模型吗？

创始人 Brett 上面这个 Post 提到是端到端的神经网络，个人觉得这可能是口误吧。

从他们技术负责人的 post 里可以看出，至少用了两个神经网络模型，一是 的 GPT4V（类似于 的 PaLM-E）；另外一个是机器人操控的模型（类似于 RT-1）。

所以 不是类似于 RT-2 的「端到端」模型，而是一个 系统。

总结一下

我们可以理解为 的机器人模型是：GPT4V + 操控模型 ≈ 的 PaLM-E + RT-1

再次感叹， 的「远见卓识」，在机器人与大模型结合的领域，又让隔壁的 起了大早，赶了晚集。一如既往， 超越 的方式不是在技术原理，而是在于产品定义以及宣传方式。比如，与 RT-2 用一个机械臂演示不一样，他们用了一个真实的人形机器人来演示。

此外，他们通过展示机器人的操控速度和自然度来吸引观众的眼球。这些都比 那种纯工程师演示的方式倍加有吸引力。

联合创始人兼首席执行官 Bred 表示，「我们的目标是训练一个世界模型，以操作十亿单位级别的仿人机器人。」这些机器人，可以消除对不安全和不理想工作的需求，最终让人类拥有更有意义的生活，这也与 的「超级对齐」愿景不谋而合。

计算机是虚拟世界的通用平台，机器人是物理世界的通用平台。

从特斯拉的 到今天的 ，未来的模型能力和机器人硬件会如何平衡，从广告噱头到量产应用还有多远？人形机器人百家争鸣的春秋时代已拉开序幕。

李志飞，出门问问创始人兼CEO，美国约翰霍普金斯大学计算机系博士，自然语言处理及人工智能专家，前总部科学家，中国大模型创业者，持续探索AGI及商业化落地。

首次向公众呈现了当下具身智能创业的核心方向韩峰涛：千寻 CEO，已投入具身智能行业创业。

1、 的宣传视频首次以通俗易懂的方式向公众展示了这一波具身智能创业机会的核心，即 AI 系统自主的以接近自然的方式释放机器人硬件的性能。

2、任务理解、拆分和自然语言对话属于现有 VLM 能力范围内，动作丝滑远超以往。

3、证明在单一任务内，VLM+具身动作规划模型+遥操微调+RL 路线可行度最高，以及微调数据质量高低对任务动作生成效果有直观影响。

4、精细操作、涉及力交互场景以及 任务的效果待观察。

5、强 AI 大脑与好机器人身体执行缺一不可，目前国内这样的团队还是偏少。

单点技术的快速发展会带来今年机器人的「大突破」陈润泽：源码资本执行董事。

基本和我年初的预测一致，2024 年，我们会不断看到机器人领域有一些令人兴奋的进展出来，相信 的 demo 只是其中之一，而且肯定不是其中最具突破性的。

为什么有这个预测？因为机器人整个技术栈里的单点技术都在快速进展，它们排列组合一下就会有一些很具「视觉冲击力」的成果出来。

但是，有必要给看到 视频过于兴奋的人泼点冷水。先说结论：我没有在 的 demo 中看到非常新的技术能力，目前 demo 的性质更像是我们去年常说的 GPT- 的状态。换句话说，要达到这个 demo 的状态并没有很多 。当然这里 没有负面的意思，硬件产品需要很好的 。在这一点上，必须承认 做的还不错。

简单聊聊这个 demo 里的细节。

关于整体架构

的工程师 Corey Lynch 在 x 上公开了架构图，整个算法分为三层：

上层： model。

这也就是我们常说的 High-level 部分，也被称为「大脑」，这部分负责处理语言和视觉输入，人机交互，并生成动作决策。这个决策的内涵就是「选择能执行目标动作的模型」。Lynch 的原话是：「 which , -loop to run on the robot to a given , onto the GPU and a .」这句话其实暗含了一个信息，就是他们的 Low-level 包括多个模型，这些模型是通过 的方式得到的，但这些子模型的封装程度/抽象程度没有披露（是比较细颗粒度的元动作库，还是比较粗粒度的任务库）。

中层： （NNP）。

这就是 Low-level 部分。Lynch 强调了：「All are , (not )」。这个很关键，所有的动作都是用 的方式来做的，但没有强调是什么 方法。

但 Lynch 也给了一些细节：「All are by , to .」结合视频中的动作，我们可以大胆猜测下，他们应该用的是基于 的模仿学习（ ）。类似的技术也出现在前阵子爆火的 aloha（）中，相关技术的论文至少在 2020-2021 年就已经有了。在 01 做零食装篮的动作时，左手的小动作似乎 的一个 clue。

下层：Whole body （WBC）。

这部分就是对应人的小脑。这部分公开的细节不多，猜测 NNP 输出的是全身 24 关节的角度控制信号和灵巧手的控制信号（200Hz），然后在下层会根据一些安全约束对 24DoF 的关节控制信号进行修正和插值（）。当然，也不排除 NNP 这部分只 focus 在 相关的控制。可以看下面这段视频，在手部动作时， 01 的全身动作是比较协调的（比如在放杯子时，做出了轻微的下蹲动作）；当然这个在此前 发的煮咖啡视频中，已经看到了这个能力。

关于 、大模型和机器人的结合

在 High-level 这一层，demo 目前展现出来的感知理解能力、推理能力、对话能力等其实都是多模态大模型能力的直接体现，只是经过「具身化」之后给人比较强的感官冲击。早在去年 PaLM-E（Corey Lynch 也是 PaLM-E 工作的参与者之一）的时候，这些能力就已经初步展现出来，只是 GPT-4/GPT-4V 的感知理解和推理能力又往前进了一步。

PaLM-E 当时接的下层控制 RT-1 也一个 -based model，采用了 from 的方法，只是 01 用了更复杂的灵巧手，其控制要更复杂精巧，但不一定有方法论层面的本质突破。

比较有意思的是 High-level 和 NNP 这层的接口是怎么做的，在 demo 的复杂度上，这些接口都是可以「手搓」的（LLM 本身就提供了一些灵活性），但要真正希望把 LLM 的泛化能力充分发挥出来，这层接口怎么做，我猜测并不简单。不过，最近跟圈内朋友交流下来，应该已经在部分任务上可以实现了，在更广泛的操作任务上实现，也不是完全不可能的事情了。