用于在人群中智能高效导航的新算法

服务机器人已经开始出现在各种日常任务中，例如包裹递送，视障人士的导盲犬，机场的公务员，或者建筑工程检查。机器人能够以不同的方式移动：腿，轮子或飞行。他们知道到达目的地的最短或最简单的路线。导盲犬可以搜索巴士时刻表，甚至在需要时订购出租车。

然而，机器人很难应付一件基本的事情：在人群中间移动。机器人用相机和其他传感器观察环境，但它的运动是不稳定的，方向不断变化，包括几次停止。因此，机器人通常甚至不被允许独自旅行。

最新机器人的问题不在于找到目的地或观察周围的世界，而在于对人群的实时反应。目前的方法需要太多的计算资源，因此不适合需要快速反应的实时应用。

在他们的论文中，周成民硕士将强化学习算法(RL)用于服务机器人的导航。算法解决了有几个移动障碍物的情况下的导航任务，例如，在机器人在人群中移动并且反应时间有限的情况下。

最好的解决方案是无模型的RL算法，它使机器人能够从他们的历史经验中学习。经过训练或学习，机器人即使在具有挑战性的情况下也能生存下来。然而，无模型RL算法存在许多挑战，例如学习效率（收敛性）慢。在本文中，学习效率从两个不同的方面得到了提高：

• 利用操作过程中收集的数据进行机器人训练。操作机器人时，会获得新的实时数据。这些数据可以与以前的训练数据相结合，从而增强机器人的训练。
• 翻译环境信息。从机器人的操作环境中收集的传感器信息不能有效和准确地学习。它应该被解释或翻译，这样机器人就可以很容易地学习它，并且学习的知识（训练的模型）可以用于其他类似情况下的导航。

机器人导航从三个技术方面进行了改进：离散动作（让机器人有有限的动作选择来选择下一个动作）、混合实时数据和历史数据以及利用关系数据（利用机器人和障碍物的关系来训练机器人）。所开发的算法已经在中国深圳科技大学的计算机模拟和实验室环境中进行了测试。