[发明专利]水流体内无人平台智能目标捕获方法及系统

权利要求书

1.一种水流体内无人平台智能目标捕获方法，其特征在于，包括如下步骤：

步骤一、构建水流体内无人平台决策模型：构建水流体内探测信号模拟模型，完成水流体内探测信号的重叠判定，然后构建水流体内运动学模型以及导引模型；

步骤二、构建线导式自航行体追踪捕获场景模型：场景包括场景设定、决策内容和环境设置，

场景设定中设置如下内容：目标使用不同机动方式，无人平台使用线导式自航行体对其进行追踪捕获，目标的机动方式包括蛇形加速运动、直航转弯运动以及蛇形加环形运动，

无人平台需要根据态势信息进行决策，初始态势包含目标、无人平台和线导式自航行体的初始状态，目标初始态势包括初始位置、航速、航向，无人平台初始态势包括初始位置、航速、航向，线导式自航行体初始态势包括初始瞄准角度和速度，

决策内容包括线导式自航行体引导方法及速度设定：引导方法包括现在方位法、修正方位法、前置点法，速度设定包括高速、低速，

对抗环境包括场景地图和初始态势，场景地图包含地图大小及海况：地图大小根据需要动态调整，设置环境扰动程度；

步骤三、在线导式自航行体追踪捕获场景模型中，应用Double-DQN强化学习方法，并使用事后经验回放HER方法，最终实现水流体内无人平台的智能目标捕获。

2.根据权利要求1所述的水流体内无人平台智能目标捕获方法，其特征在于，所述步骤一中，所述水流体内探测信号模拟模型的构建方法如下：将水流体内探测信号以采样点的形式进行模拟表达，水流体内探测信号表示为-180deg～+180deg上多个离散的信号值；

依据海况程度的不同，增加水流体内探测信号背景噪声，以正态随机信号的形式添加到离散信号值上；

对于每个信号目标，以呈正态分布的信号峰进行模拟表达，波峰位置μ为目标方位角，波峰宽度2σ与目标距离成反比，波峰强度与目标速度成正比；

对于多个信号目标的信号峰有重叠的情况，在重叠位置上取多个信号之中的最大值。

3.根据权利要求1所述的水流体内无人平台智能目标捕获方法，其特征在于，所述步骤一中，水流体内探测信号的重叠判定方法如下：

对原始水流体内探测信号使用Savitzky-Golay平滑滤波方法过滤信号噪声；

使用波峰检测算法对所有的信号峰进行识别并标定其对应方位值；

根据方位值差以及检测到的波峰数量判定信号峰是否重叠。

4.根据权利要求1所述的水流体内无人平台智能目标捕获方法，其特征在于，所述步骤三中，强化学习方法中的Double-DQN算法中包含了两个结构相同的神经网络，分别为目标网络θ^-和评估网络θ；利用评估网络θ和目标网络θ^-的输出差异来构建损失函数，损失函数定义为：

L(θ)＝(y-Q(s,a；θ))²

其中，状态s和动作a为评估网络的输入，Q(s,a；θ)为评估网络输出的实际值函数，y为由目标网络计算的目标值函数：

其中，r为即时奖励，γ为奖励折扣系数，状态s'和动作a'为目标网络的输入，Q(s',a'；θ^-)为评估网络输出的值函数，

值函数评估网络参数θ的更新过程为：

其中，θ_t为参数更新前的第t步的评估网络参数，θ_t+1为参数更新后的第t+1步的评估网络参数，α为学习速率，决定神经网络参数更新速度；

评估网络θ根据误差反向传播进行实时更新，目标网络θ^-的参数虽继承于评估网络θ，但其更新方式为周期更新，即在评估网络θ训练多轮次后再继承其网络参数，更新过程为：

θ^-←τθ+(1-τ)θ^-

其中，τ为参数更新速率，决定更新时目标网络参数的替换程度，

在训练过程中，Double-DQN采用经验回放来强化学习过程，将智能体在环境中交互所产生的的数据存放到记忆库中，在训练时采用随机采样方法从记忆库中抽取部分数据，然后用于训练，以此来打乱每一轮训练所采集数据之间的相关性，强化训练效果。