[发明专利]一种基于深度强化学习的移动机器人视觉跟随方法

摘要

本发明提出了一种基于深度强化学习的移动机器人视觉跟随方法。采用“模拟图像有监督预训练+模型迁移+RL”的架构，首先在真实环境中收集少量的数据，采用计算机程序和图像处理技术对数据集进行自动化扩充，以便在短时间内得到大量可以适应真实场景的模拟数据集，用于对跟随机器人的方向控制模型进行有监督训练；其次，搭建用于机器人方向控制的CNN模型，并用自动化构造的模拟数据集对其进行有监督训练，使其作为预训练模型；接着将预训练模型的知识迁移到基于DRL的控制模型中，令机器人在真实环境中执行跟随任务，结合强化学习机制，使得机器人可以在环境交互的过程中一边跟随，一边对方向控制性能进行提升，不仅鲁棒性高，且大大降低成本。

主权项

1.一种基于深度强化学习的移动机器人视觉跟随方法，其特征在于，包括如下步骤：步骤一：数据集的自动化构造；(1)准备一个被跟随的目标易与背景区分开的简单场景；在简单场景下，从跟随机器人的视野采集目标人在机器人视野中不同位置的视野图像；(2)准备跟随机器人的应用场景作为复杂场景图像，利用图像掩模技术将目标人从简单场景的背景中提取出来，进而与复杂场景相叠加，即得到目标人处于复杂场景下的图像，并且直接为合成的复杂场景图像赋予相应的简单场景下的动作空间标签；步骤二：基于CNN的方向控制模型搭建及训练；利用步骤一自动化构造的数据集对CNN模型进行有监督训练，使得CNN能够达到通过机器人视野输入图像输出对应动作状态的效果，从机器人的单目彩色相机采集到的图像，在输入给CNN之前，先将其RGB三通道转换为HSV通道，再作为输入图像送给CNN，之后网络可以输出对应的动作状态；步骤三：模型迁移；将步骤二训练好的CNN参数权重作为初始参数迁移给DRL模型，使得DRL模型获得与CNN模型相同的控制水平；步骤四：基于DRL的方向控制模型搭建及训练；将步骤三初始参数迁移后的DRL模型用于机器人端进行使用，并且通过不断与环境进行交互，使机器人能够不断更新模型，学习到当前所处的环境。