[发明专利]太阳能无人机自主寻优航迹规划的强化学习方法

权利要求书

1.一种太阳能无人机自主寻优航迹规划的强化学习方法，其特征在于包括：

A)在无人机环境感知操作(101)开始后，先进行环境感知处理(102)，从而生成一个有起点和终点的节点图，该节点图中的每个节点都有自己的奖励值，

B)建立深度强化学习神经网络(103)，

C)建立有固定份数容量大小的记忆库并初始化(104)，

D)将节点图输入路径探索模块(105)并开始进行路径探索，在路径探索的过程中将路径探索的内容按照(s,a,r,s_)的格式一份一份地存入记忆库，其中：s为当前节点n状态，a为节点移动动作，r为采取移动动作a到达下一节点的奖励值，s_为采取移动动作a后的到达下一节点的状态，

E)在路径探索模块(105)的操作进行了若干次数的探索后结束该操作，并把探索的内容存入记忆库，

F)在记忆库达到标准容量之后从记忆库中抽取记忆库容量十分之一份数的路径探索的存储结果(s,a,r,s_)进行深度强化学习神经网络训练(107)，

G)在深度强化学习神经网络训练完毕之后，进行路径选择(108)，

其中：

所述环境感知处理(102)包括：

从气象数据网站得到地面太阳短波辐射图(202)，

计算无人机飞行区域的太阳能基础辐射值(203)，

从气象网站得到实时雷达图(204)，

并将实时雷达图按照一个像素点一个节点的方式转化为节点位置状态集合S(205)，并设置每个节点只能选择周围的8个节点之一为下一动作运动节点(206)，

设置无人机预定飞行的起点和终点(207)，

设置各个节点n的启发式距离，其中各个节点n是从起点到终点所要路过的n个节点，

确定奖励值r_n的集合R(208)，其中r_n是分别对应各个节点n的奖励值：

r_n＝w_n+D_dest(n)+βD_start(n)

其中：

r_n为当前节点n的奖励值，

w_n为在基础辐射值之下由当前雷达图得到的对当前节点n的辐射能量值，

D_dest(n)和D_start(n)分别是从终点到当前节点n的启发式距离和从起点到当前节点n的启发式距离，

β为起点系数，取值范围为(0,1)，用来平整探索过程，

启发式距离采用欧几里得距离，按下式确定:

其中：i_s||d为起点||终点像素点的横坐标位置，j_s||d为起点||终点像素点的纵坐标位置，i为雷达图中当前节点的横坐标位置，j为雷达图中当前节点的纵坐标位置，

在设置全部节点后结束(209)，

所述路径探索包括：

在得到环境感知信息后，将起点的状态赋予节点位置状态s(302)，并根据当前节点的移动动作a的结果从奖励值的集合R中确定每个动作的奖励值r(303)，

根据贪心算法选择移动动作a(304)，包括：得到从0到1的均匀随机数ε，若ε小于0.9，则选择奖励值r最大的动作a，否则随机选择动作a，

在确定移动动作a后，得到下一节点的状态s_(305)，取下一状态s_的最大Q值maxQ_next，生成新的Q值Q_new(s_,a)(306)，并用Q_new(s_,a)代替原来的Q值Q_old(s,a)(307)，公式如下：

Q_new(s，a)＝(1-α)·Q_old(s，a)+α·(R(s，a)+maxQ_next)

其中α为学习效率，Q_new(s_,a)为状态s下采取移动动作a的价值函数，其中R(s,a)为在状态s下采取动作a的奖励值r的集合，

将这次探索的内容以(s,a,r,s_)为一份存入记忆库，

判断s_是否为终点(309)，

“否”则将s更新为s_(310)并进入下一次路径探索环节，

“是”则进入判断是否达到探索次数(311)，若“否”则返回起点重新进行路径探索(302)，若“是”则结束探索(312)。