[发明专利]基于ST-DQN海上无人机目标搜寻方法、装置、设备和介质

权利要求书

1.一种基于搜寻理论和深度值函数网络ST-DQN的海上无人机目标搜寻方法，包括：

构建海上搜寻地图维护模型，对无人机搜寻环境进行形式化描述，包括：

以任务区域E划分成L_x×L_y个网格，每个网格都是独立的，将每个网格的中心点坐标作为该网格的位置坐标；当初始先验信息已知，每个栅格(m,n)赋予初始POC值p_mn(k)，其中k表示时刻，(m,n)的取值范围(m∈{1,2,3…L_x},n∈{1,2,3…L_y})；

当初始先验信息已知，且已进行归一化处理即满足以下公式：

对无人机搜寻能力进行建模，包括：

执行任务的无人机以目标存在概率模型为指导，在待搜寻的任务区域E内规划搜寻路径，当无人机在栅格内执行搜寻任务，基于搜寻理论则无人机的目标探测概率函数为：

其中，v_i为无人机i的飞行速度；z_i为无人机i的飞行时间；l_i为无人机i在时间内搜寻航行的总路程；w_i为无人机i的探测宽度即扫海宽度；A为搜寻栅格单元的面积；j为搜寻单元数(j＝1,2,…,xy)；

根据搜寻理论和无人机搜寻代价进行目标函数建模，并通过ST-DQN算法寻找最快搜寻覆盖重点区域的最优路径。

2.根据权利要求1所述的基于搜寻理论和深度值函数网络 ST-DQN的海上无人机目标搜寻方法，其中，根据搜寻理论和无人机搜寻代价进行目标函数建模，并通过ST-DQN算法寻找最快搜寻覆盖重点区域的最优路径，包括：

基于所述公式对每一个单元(m,n)都设置一个属性值r，r表示搜寻此单元的搜寻代价值，r_mn(k)表示k时刻无人机的路径信息，若r_mn(k)＝-1则表示此单元已被无人机搜寻过，若r_mn(k)＝1则表示当前无人机正处于此单元，r_mn(k)＝0则表示此海域从未被搜寻过；

对无人机的动作空间进行定义，确定无人机i的动作空间表示为动作决策变量

获取无人机每一步的即时奖惩和回合奖惩，确定每一个无人机在每一个回合中每步的总奖励，将该种奖励机制应用于模型训练过程；

采用深度值函数网络，通过使用经验回放策略和双神经网络策略使神经网络接受环境状态并输出动作价值，环境状态包括目标包含概率和无人机位置信息；

在深度值函数网络训练过程中，Q估计网络通过训练迭代来调整网络权值θ_t，在第t次迭代中，每一序列的损失函数L_t(θ_t)改变为：

L_t(θ_t)＝E_s,a,r,s'[(y-Q(s,a；θ_t))²]

式中：s为当前时刻状态；s'为下一时刻状态；a为当前时刻动作。

3.根据权利要求2所述的基于搜寻理论和深度值函数网络 ST-DQN的海上无人机目标搜寻方法，其中，

所述深度值函数网络采用的预设算法还包括：

将无人机每一个时间步的经验e_t＝(s_t,a_t,r_t,s_t+1)以数据集合D＝{e₁,…,e_t}进行存储，以使无人机先前状态的行为分布变得均匀。

4.根据权利要求2所述的基于搜寻理论和深度值函数网络 ST-DQN的海上无人机目标搜寻方法，其中，当无人机匀速搜寻，则无人机规划的搜寻路径满足目标：在有限航程内最大化累积重点子区域AWS:

其中，n₁～n₈分别表示无人机的动作空间中的一个角度。