[发明专利]基于强化学习的关节模组不等式约束最优鲁棒控制方法

说明书

本发明涉及基于强化学习的关节模组不等式约束最优鲁棒控制方法，包括：在仿真平台上搭建关节模组虚拟仿真环境，构建强化学习神经网络模型；初始化关节模组虚拟仿真环境；调整强化学习神经网络模型中多层神经元之间的连接权值；随机失活强化学习神经网络模型的一部分神经元，输出关节模组的控制参数信息；收集当前关节模组虚拟仿真环境下的训练数据集；将强化学习神经网络训练得到的最优参数输入到不等式约束最优鲁棒控制器内，将电机运行轨迹约束在一个指定的范围内并显著提高其控制精度。本发明采用粒子群最优算法来调整强化学习神经网络模型中多层神经元之间的连接权值，可以显著提高电机控制精度且能将电机的运行轨迹约束在一个指定的范围内。

技术领域

本发明涉及机器人控制技术领域，尤其是一种基于强化学习的关节模组不等式约束最优鲁棒控制方法。

背景技术

关节模组已经广泛得应用于中小型电力驱动领域，如航空航天、机器人、电动汽车等领域。有关于它的高性能控制是一个多变量、高度耦合和时变的非线性系统，传统控制方法中需要得到电机精确的系统参数。然而，结构不确定性，如系统参数变化、系统建模不足，和非结构不确定性，如负载转矩扰动、控制目标多样性等，可能会影响关节模组特别是永磁同步电机系统的伺服性能。提高关节模组的鲁棒性和动态性能是解决系统不确定性的有效方法。

现有的针对关节模组的控制方法主要包括以下两个方面：第一，在控制器搭建完毕后，参数需要从零开始盲目调节，并不知道电机控制的最优阈值；第二，现有鲁棒控制方法不能够很好的将关节模组控制在一个指定范围内，且精确度不够，可能会使关节模组运行偏离轨迹，在现实的生产生活中可能会因此导致一些重大事故。

发明内容

本发明的目的在于提供一种能够利用神经网络训练来得到电机控制参数的最优阈值，并通过模糊方法来消除电机的非线性和不确定性，将得到的参数输入到不等式约束最优鲁棒控制器中，将电机运行轨迹约束在一个指定的范围内并显著提高其控制精度的基于强化学习的关节模组不等式约束最优鲁棒控制方法。

为实现上述目的，本发明采用了以下技术方案：一种基于强化学习的关节模组不等式约束最优鲁棒控制方法，该方法包括下列顺序的步骤：

(1)首先在仿真平台上搭建具备神经网络训练能力的关节模组虚拟仿真环境，构建具备Dropout随机失活神经元方法的强化学习神经网络模型；

(2)初始化关节模组虚拟仿真环境；

(3)采用改进的粒子群优化算法调整强化学习神经网络模型中多层神经元之间的连接权值,实现面向关节模组轨迹跟踪控制的强化学习神经网络的自适应学习；

(4)随机失活强化学习神经网络模型的一部分神经元，将预先设定的干扰参数输入到每个关节模组虚拟仿真环境中，控制强化学习神经网络结合每个关节模组虚拟仿真环境，输出关节模组的控制参数信息；

(5)判断关节模组虚拟仿真环境训练终止条件，收集当前关节模组虚拟仿真环境下的训练数据集；

(6)将强化学习神经网络训练得到的最优参数输入到不等式约束最优鲁棒控制器内，首先通过模糊方法来消除电机的非线性和不确定性，再通过不等式约束将电机运行轨迹限制在一个指定的范围内并显著提高其控制精度。

在步骤(1)中，所述强化学习神经网络为全连接网络，包括两个隐含层和一个池化层，每层包含256个节点，激活函数选择Relu函数，且通过Dropout随机失活神经元方法来防止过拟合现象。

所述步骤(2)初始化关节模组虚拟仿真环境包括初始化关节模组所在的仿真环境、初始化电机初始位置和负载重量以及扰动项。

所述步骤(3)包括以下步骤：

(3a)将多层神经元之间的连接权值的选取问题转化为最优化问题,最优化问题的目标函数即输出向量与期望信号向量的范数,如式(1)所示,期望信号即关节模组目标运行位置坐标,输出向量即关节模组的实际运行位置：