[发明专利]一种基于深度强化学习的移动机器人视觉跟随方法

说明书

本发明提出了一种基于深度强化学习的移动机器人视觉跟随方法。采用“模拟图像有监督预训练+模型迁移+RL”的架构，首先在真实环境中收集少量的数据，采用计算机程序和图像处理技术对数据集进行自动化扩充，以便在短时间内得到大量可以适应真实场景的模拟数据集，用于对跟随机器人的方向控制模型进行有监督训练；其次，搭建用于机器人方向控制的CNN模型，并用自动化构造的模拟数据集对其进行有监督训练，使其作为预训练模型；接着将预训练模型的知识迁移到基于DRL的控制模型中，令机器人在真实环境中执行跟随任务，结合强化学习机制，使得机器人可以在环境交互的过程中一边跟随，一边对方向控制性能进行提升，不仅鲁棒性高，且大大降低成本。

技术领域

本发明属于智能机器人技术领域，涉及一种基于深度强化学习的移动机器人视觉跟随方法。

背景技术

随着技术的进步与社会的发展，越来越多的智能机器人出现在人们的生活中。跟随式机器人是近年来受到广泛关注的新型系统之一，其可以应用在诸如医院，市场或学校等复杂环境中作为其所有者的助理，进行跟随移动，这将会给人们的生活带来极大的方便。跟随机器人应该具有自主感知、识别、决策和运动功能，能够识别某一特定的目标，并结合相应的控制系统在复杂场景下实现对该目标的跟随。

目前对于跟随机器人系统的研究通常基于视觉传感器或多传感器结合，前者通常使用立体相机采集视觉图像，需要繁琐的标定步骤，且难以适应室外较强的光照；后者由于额外传感器的加入，提高了系统成本，也带来了复杂的数据融合过程。为了保证动态未知的环境中跟踪的稳健性，通常需要手工设计复杂的特征，这大大增加了人力成本、时间成本和计算资源。另外，传统的跟随机器人系统通常将整个系统拆分为目标跟踪模块和机器人运动控制两个部分，在这样的流水线设计结构中，前一模块中出现的误差通常会依次传递到后面的模块，从而导致误差的积累逐渐放大，最终对系统性能产生较大影响。

综上所述，当前传统跟随机器人系统存在硬件成本和设计成本过高的缺点，且无法在简单硬件支持下完全适应室内外环境的多变性和复杂性，容易发生机器人跟丢目标人的情况，降低跟随系统的鲁棒性，因此严重影响了跟随式机器人在实际生活中的应用推广。

发明内容

针对当前传统跟随机器人设计的不足，本发明提供了一种基于深度强化学习的移动机器人视觉跟随方法。

本发明以单目彩色摄像头作为机器人唯一输入传感器，将卷积神经网络(Convolutional Neural Network,CNN)及深度强化学习(Deep Reinforcement Learning,DRL)引入跟随机器人系统中，摆脱了传统跟随机器人系统中复杂的手工设计特征的过程，使机器人能够直接从视野图像中学习控制策略，大大降低了目标跟丢的可能性，可以更好的适应复杂环境中的光照变化、背景物体干扰、目标消失和行人干扰。同时，深度强化学习的引入也使得跟随机器人可以在与环境交互的过程中不断从经验中学习，不断提高自己的智能化水平。

本发明采用“模拟图像有监督预训练+模型迁移+RL”的架构，首先在真实环境中收集少量的数据，采用计算机程序和图像处理技术对数据集进行自动化扩充，以便在短时间内得到大量可以适应真实场景的模拟数据集，用于对跟随机器人的方向控制模型进行有监督训练；其次，搭建用于机器人方向控制的CNN模型，并用自动化构造的模拟数据集对其进行有监督训练，使其作为预训练模型；接着将预训练模型的知识迁移到基于DRL的控制模型中，令机器人在真实环境中执行跟随任务，结合强化学习(Reinforcement Learning,RL)机制，使得机器人可以在环境交互的过程中一边跟随，一边对方向控制性能进行提升。

具体技术方案如下：

一种基于深度强化学习的移动机器人视觉跟随方法，包括步骤如下：

步骤一：数据集的自动化构造；