[发明专利]一种基于元强化学习的导航迁移方法

说明书

本发明公开了一种基于元强化学习的导航迁移方法，涉及计算机视觉技术领域。该方法通过使用少样本对复杂的模型进行自适应控制，进而使得训练模型得以收敛，避免了单个样本可能会造成的过拟合，同时机器人的位置随机初始化也保证了样本的多样性；能够提高机器人对不同环境的泛化性，迁移性极强；收敛后的元强化学习网络框架具有对不同新环境的适应能力，有能从虚拟环境中迁移至现实环境的能力，能解决基于强化学习的导航算法从虚拟环境迁移到现实环境泛化性能差的问题；该方法相对于强化学习算法和重新训练神经网络可以更快收敛，减少训练时间，不用重复多次构建网络结构，只需保存模型使用相同的网络结构即可，让操作更加简单化。

技术领域

本发明涉及计算机视觉技术领域，具体而言，涉及一种基于元强化学习的导航迁移方法。

背景技术

目前，机器人在人们的生活中扮演着越来越重要的角色，随着各类社会服务机器人的出现，导航算法也成为了导航技术的一个重要的发展方向。

众所周知，复杂的环境和未知、动态的场景是移动机器人及无人驾驶快速达到目的地的一大阻碍，大部分的机器人是需要实时手动操作实现其导航，并且自动机器人在复杂的环境中也面临着打转寻找不到目标的情况。虽然现有技术会为机器人提供一些不可预见的场景，但是仍然需要花费一段获取场景后的反应时间。因此，移动机器人需要具有不同环境的先验知识，来提升在面对不同环境时的反应能力，在复杂环境中自主快速做出最佳决策。

在深度强化学习导航算法中，机器人与环境进行交互，在当前状态通过执行动作进入下一个状态并得到奖励，以负奖励和正奖励来促使机器人达到目标，通过反复与环境交互，让机器人做出得到最大奖励的策略。目前，有很多环境为了促使机器人能更快的找到目标，设置每走一步得到负奖励，找到目标给予正奖励，让机器人直接寻找目标。

目前为了实现快速导航的目的，深度强化学习导航算法通过大量样本数据训练神经网络，训练的成本很高，因为随着网络层的增加在虚拟环境中运行机器人导航进行训练是非常耗时的，需要数十万次的执行任务可能才能达到收敛。除此之外，如果要迁移到真实环境中随着环境的动态变化，迁移性会特别差，用单一场景训练会造成过拟合，而多个场景训练时算法难以达到收敛。一般情况下，让机器人在虚拟环境中进行训练，直到学习到其所需要的能力之后将所学到的知识迁移到真实环境中的机器人身上。但是由于现实环境与虚拟的环境差别过大，会使机器人的导航性能急剧减弱，机器人获得现实环境中的信息与虚拟环境有很大的差异，导致深度强化学习的迁移性能与在现实环境中的实用性很差。

发明内容

本发明在于提供一种基于元强化学习的导航迁移方法，其能够缓解上述问题。

为了缓解上述的问题，本发明采取的技术方案如下：

本发明提供了一种基于元强化学习的导航迁移方法，包括以下步骤：

S100、生成n个不同的虚拟训练环境，各虚拟训练环境中均初始化有一个导航目标；

S200、从n个不同的虚拟训练环境中随机选择b个虚拟训练环境，分别作为b个当前虚拟训练环境，b≥1，对于每个当前虚拟训练环境，均在其中的随机位置初始化一个虚拟训练机器人；

S300、构建无模型的元强化学习网络框架，所述元强化学习网络框架由依次连接的图像特征提取处理层以及元强化学习网络构成，所述元强化学习网络包括LSTM网络、交互损失计算和导航损失计算；

S400、使各虚拟训练机器人与各自所在当前虚拟训练环境交互，利用各虚拟训练机器人观察到的图片训练更新所述元强化学习网络框架，若所述元强化学习网络框架收敛，则继续执行步骤S500，否则跳转至步骤S200；

S500、保存收敛后的元强化学习网络框架，构建现实环境/新虚拟环境，所述现实环境和所述新虚拟环境均设置有导航目标及应用机器人；