【NVIDIA Isaac GR00T N1 是专为通用人型机器人开发设计的开源基础模型,旨在解决实际任务和不可预测环境中的创建挑战。该模型采用了双系统架构,结合了视觉 - 语言模型和扩散变换器模型,分别对应人类认知中的系统 1 和系统 2,能够处理多模态输入,执行多样化的操作任务。GR00T N1 利用大规模的人型数据集进行训练,这些数据集包括互联网规模的视频数据、NVIDIA Omniverse 平台生成的合成数据以及真实机器人采集的数据。这种数据策略使得模型能够在不同任务和环境中展现出良好的泛化能力。NVIDIA 还提供了 GR00T N1 模型的使用步骤,包括数据准备、数据验证、后训练和推理等,并且在 Hugging Face 上发布了模型和示例数据集。此外,NVIDIA 还提供了模型评估的方法和基准测试,以及推荐的硬件配置。亮点:1. 提供首个开源的通用人形机器人推理和技能基础模型;2. 通过多模态输入(语言和图像)实现多样化环境中的操作任务;3. 预训练模型结合合成数据,提升性能40%】
'NVIDIA Isaac GR00T: Accelerate Generalist Humanoid Robot Development with NVIDIA Isaac GR00T N1'
人形机器人AI基础模型机器人开发AI创造营