[发明专利]面向模块船运动特性分析的深度强化学习黑箱辨识方法

权利要求书

1.面向模块船运动特性分析的深度强化学习黑箱辨识方法，其特征在于，包括以下步骤：

步骤S1：根据模块船运动坐标系以及模块船的运动描述，确定六自由度模块船运动模型；

步骤S2：根据确定出的六自由度模块船运动模型以及模块船运动特性，获得用以描述模块船运动特性的平面三自由度运动模型；

步骤S3：根据预设高精确度模块船运动模型，模拟模块船操纵运动，并结合传感器移动情况下模块船运动模型结构变化特点，选取深度强化算法为辨识方法；

步骤S4：根据深度强化学习算法对模块化船舶运动的模型进行辨识，得到辨识结果；

步骤S5：根据预设的评价标准，从辨识结果中选择准确率最高的黑箱模型作为目标三自由度模块船运动特性分析模型；

所述步骤S3中，选取深度强化算法中的DDPG算法为辨识方法，DDPG算法包括Actor网络、Critic网络、Target Actor网络和Target Critic网络；

在训练阶段，从Replay Buffer中采样一个批次的模块船运动数据，采样到的数据为(s,a,s',done)，其中，s为行为；s'为下一时刻的行为；a为奖惩值；done为状态，所述Critic网络的更新过程为：

利用Target Actor网络计算出状态s'下的模块船运动动作：

a'＝μ'(s'|θ^μ′)

利用Target Critic网络计算出状态动作对(s,a)的目标值：

y＝r+γ(1-done)Q'(s',a'|θ^Q′)

利用Critic网络计算出状态动作对(s,a)的评估值：

q＝Q(s,a|θ^Q)

利用梯度下降算法最小化模块船运动预测数据与模块船运动真实数据之间的差值L_c，从而对Critic网络中的参数进行更新：

L_c＝(y-q)²；

所述Actor网络的更新过程为：

利用Actor网络计算出状态s下的动作：

a_new＝μ(s|θ^μ)

利用Critic网络计算出状态动作对(s,a_new)的评估值：

q_new＝Q(s,a_new|θ^Q)

利用梯度上升算法最大化累积期望回报q_new，对Actor网络中的参数进行更新；

所述DDPG算法采用软更新方式对目标网络进行更新，具体为：

Target Actor网络的更新过程：

Target Critic网络的更新过程：

其中，为学习率，学习率

所述步骤S4中，模块船运动动力学建模中，输入包括当前时间步的状态变量和控制变量，输出包括下一时间步的状态变量，具体描述为：

其中，x_s(t)为模块船状态向量；u(t)为当前时间步长模块船的纵荡速度；f(·)为非线性映射的矩阵形式；x_s(t+1)为下一个时间步的状态向量，由欧拉法以时间步长h表示；

根据公式遵循非线性映射的函数，函数用作待识别的黑箱模型：

其中u(t)、v(t)、r(t)分别表示当前时间步长模块船的纵荡速度、横荡速度和转艏角速度；δ(t)表示当前时间步长舵角；n(t)表示当前时间步长模块船上传感器的数量；

所述步骤S4中，辨识结果包括三自由度模块船运动特性纵荡速度、横荡速度、转艏角速度和经纬度坐标；

所述步骤S5的具体操作为：

将提取出的建模所需模块船运动数据分为输入-输出两组，其中，输入量包括转艏角速度、横向速度、纵向速度、经纬度坐标、命令舵角和传感器的数量，输出量包括转艏角速度、横向速度、纵向速度和经纬度坐标；

将对应于各运动模型的输入量和输出量输入给深度强化学习黑箱模型，利用所用模块船运动的输入-输出数据和深度强化学习黑箱辨识算法对各三自由度运动模型进行辨识，并对简化运动模型进行辨识；

对比分析所有结果，根据评价标准，选取精确度最高的模型为最理想的简化三自由度模块船运动特性黑箱辨识模型。