全力押宝具身AI!Meta让机器人也有触觉反应

逢纪说科技 2024-11-14 01:29:52

Meta近日发布了专注于触觉感知的Sparsh、强调人机互动的Digit 360,以及诉诸机器人灵活性的Digit Plexus等三大研究成果,全力推动具身人工智能(embodied AI,又译做体现/体化/具体化人工智能)的发展。

通过将触觉和感知融入其机器人创新之中,Meta正全力押宝在新兴的具身AI上。该公司并且与美国传感器公司GelSight和韩国机器人公司Wonik Robotics合作,以推动AI触觉传感器的商业化。

日前,全力发展具身AI的Meta推出了三项研究成果。首先是Meta携手华盛顿大学和卡内基梅隆大学合作开发的Sparsh编码器模型,其专门用在基于视觉的触觉感知上,以便赋予机器人触觉感知能力。该能力对于各种机器人任务极其重要,例如该功能可以判断施加在物体上的压力大小,以避免损坏。

第二项成果是Digit 360指状触觉传感器,其身负18种以上的传感能力,并拥有超过800万个触觉像素(taxel,也称触觉传感元),其能用来捕捉指尖上的全向和细微变形,进而让机器人能更精细地理解环境互动与物体操控。不仅如此,内置AI模型的Digit 360,能最大限度地减少对云计算服务器的依赖,而采行本地端处理,以便能有快速的触觉反应,它就好比像是人类和动物神经中控制反射动作的反射弧(reflex arc)一样。

最后是Digit Plexus,其为一个能简化机器人应用开发的软硬件合平台。该平台能将各种指尖和皮肤触觉传感器集成到单个机器人手中,并将触觉数据进行编码后,通过一条缆线发送到主机计算机。Meta希望借此帮助研究人员推动机器人灵活性的发展。

除此之外,Meta还推出了“人机协作中的规划与推理任务”(Planning and Reasoning Tasks in Human-Robot Collaboration,PARTNR),其为用于评估AI模型如何协助人类完成家务的新基准。它基于Meta Habitat模拟器 ,包含了60间房屋中10万个自然语言任务,并拥有超过5,800个独特对象。该基准旨在评估LLM大型语言模型和VLM视觉语言模型在遵循人类指令方面的有效性。

(首图来源:Meta)

0 阅读:9