NVIDIA 开源机器人学习框架轨道

来自NVIDIA，苏黎世联邦理工学院和多伦多大学的一组研究人员开源了基于模拟的机器人学习框架Orbit。Orbit包括四个学习库的包装器，一套基准测试任务和多个机器人平台的模拟，以及用于在物理机器人上部署经过训练的代理的接口。

Orbit 建立在 NVIDIA 的 Isaac Sim 模拟平台上，该平台提供用于设计环境的工具以及用于逼真渲染和物理模拟的引擎。开箱即用的Orbit包括多个传感器，机器人执行器以及刚性和可变形物体（如洗碗机和布）的模型。它还包括用于近二十个学习任务的预构建模拟环境，例如堆叠积木或折叠布;该框架支持多种学习范式，包括强化学习（RL）和模仿学习。Orbit 还可以在物理机器人上运行控制策略，通过使用 ZeroMQ 发送联合命令或将策略导出到运行 ROS 的硬件。根据英伟达团队的说法：

通过开源这个框架，我们的目标是减少开发新应用程序的开销，并为未来的机器人学习研究提供一个统一的平台。在我们不断改进并向框架添加更多功能的同时，我们希望研究人员为使其成为机器人研究的一站式解决方案做出贡献。

RL是开发机器人控制系统的常用技术。然而，在现实世界中使用物理机器人训练纯RL控制器可能需要很长时间，因此研究人员经常利用基于物理的计算机引擎的可用性和高质量的图像渲染来训练与模拟环境交互的虚拟代理。

Orbit基于Isaac Sim，这是一个“可扩展的机器人模拟应用程序和合成数据生成工具”，它本身建立在NVIDIA的Omniverse 3D模拟平台上。Omniverse使用最初由皮克斯开发的通用场景描述（USD）格式作为定义3D环境的基础。Orbit的主要贡献在于其抽象层，它简化了环境设计并将经过训练的策略转移到现实世界的机器人。

Orbit 中的顶层抽象是世界，它代表模拟环境中的每个对象，包括模拟机器人硬件;代理，代表机器人控制软件，负责读取机器人传感器数据和控制机器人执行器。另一个抽象，即任务，包括世界、代理的子集和任务逻辑组件，该组件为学习提供目标、指标和情节控制。

为了展示Orbit为物理机器人训练代理的能力，该团队使用Orbit通过ZeroMQ控制Franka Emika机器人操纵器。机器人执行远程操作以及避障的航点跟踪。研究人员还使用Orbit的模拟环境为ANYmal-D四足机器人训练了运动策略，然后将训练后的代理部署到物理机器人上。