罕见公开训练详情

金磊 发自 凹非寺量子位 | 公众号 QbitAI

特斯拉机器人Optimus最新视频出炉，已经可以在厂子里打工了。

正常速度下，它分拣电池（特斯拉的4680电池）是这样的：

官方还放出了20倍速下的样子——在小小的“工位”上，拣啊拣啊拣：

这次放出的视频亮点之一在于Optimus在厂子里完成这项工作，是完全自主的，全程没有人为的干预。

并且在Optimus的视角之下，它还可以把放歪了的电池重新捡起来放置，主打一个自动纠错：

对于Optimus的手，英伟达科学家Jim Fan给出了高度的评价：

Optimus的手是全球五指机器人里最灵巧的之一。

它的手不仅有触觉感应，自由度（DoF）也达到了11个，而同行基本上都只有5-6个自由度。

并且坚固耐用，无需经常维护即可承受大量物体交互。

而就在Jim Fan的评论区，马斯克还现身透露了一个更重磅的消息：

今年晚些时候，Optimus手的自由度将达到22个！

不过有一说一，视频中展示Optimus分拣自家电池还只是“开胃菜”。

这一次，特斯拉罕见地公布了机器人的训练详情。

首先在神经网络方面，从视频中的字幕中可以得知，特斯拉给Optimus部署的是一个端到端的神经网络来训练分拣电池的任务。

也正因如此，Optimus所用到的数据仅仅是来自于2D摄像头和手部的触觉、力度传感器，并直接生成关节控制序列。

特斯拉工程师Milan Kovac进一步透露，这个神经网络完全是在机器人的嵌入式FSD计算机上运行，并且由机载电池供电：

当我们在训练过程中添加更多不同的数据时，单个神经网络可以执行多个任务。

在训练数据方面，我们可以看到是人类戴着VR眼镜和手套，通过远程操作的方式来采集：

对于这一点，Jim Fan认为：

将软件设置为第一人称视频流输入和精确控制流输出，同时保持极低的延迟是非常重要的。

这是因为人类对自己的动作和机器人的动作之间哪怕是最小的延迟都非常敏感。

而Optimus恰好有一个流体全身控制器，可以实时执行人体姿势。

并且特斯拉机器人已经将这种模式扩展到了其它任务中：

如此规模也是令Jim Fan大受震惊的一点：

并行收集数据，一个机器人是远远不够的，而且人类还得每天轮班倒。

这种规模的操作可能是学术实验室里想都不敢想的。

不仅如此，从视频中Optimus们正在执行的任务来看也是多种多样，有分拣电池的，有叠衣服的，还有整理物品的。

Milan Kovac表示特斯拉在其中一家工厂已经部署了几个机器人，它们每天正在真实的工作站接受测试并不断改进。

总而言之，Optimus单是从视觉和人类示范来进行训练来看，这一点上是和特斯拉汽车的逻辑是有点类似了。

在视频的最后，官方还曝出Optimus另一个能力上的提升——可以走更远的路了：

Jim Fan的实验室也在这两天放出了一个新进展——

让机器狗踩着瑜伽球行走！

而它的训练方法和特斯拉Optimus截然不同，是完全在模拟环境中进行，然后零样本迁移到真实世界中，无需微调，直接运行。

具体背后的技术则是团队新推出的DrEureka，它是以之前五指机器人转笔背后的技术Eureka为基础。

DrEureka是一个LLM智能体，可以编写代码来训练机器人在模拟中的技能，并编写更多的代码来弥合困难的模拟与现实之间的差距。

简而言之，它完全自动化了从新技能学习到现实世界部署的流程。

而相较于特斯拉Optimus和英伟达机器狗的训练方式，Jim Fan也做了个灵魂总结：

远程操作是解决类人机器人问题的必要但不充分的条件。从根本上说，它无法扩展。

并且也有网友对此表示认同：

那么你觉得呢？