[发明专利]一种使用强化学习获得无人机收集数据轨迹的方法

说明书

本发明公开了一种使用强化学习获得无人机收集数据轨迹的方法，输入无人机起始位置，结束位置，地面各节点位置以及待传输数据量和能量限制，采用Actor‑Critic算法设计无人机辅助收集地面节点数据轨迹。该方法在最小化收集数据任务完成时间的目标下充分考虑了各地面节点本身待收集数据量不同和各自能量限制。在解法上通过将连续时间无人机轨迹设计问题转化为离散时间马尔科夫决策过程，基于Actor‑Critic算法获得无人机在每个状态下的最佳收集数据决策和最佳运动决策。能设计无人机最佳收集数据轨迹，可以在保证收集完所有地面节点待传输数据量并满足各地面节点能量限制的前提下显著减少收集时间。

技术领域

本发明属于移动通信技术领域，尤其涉及一种使用强化学习获得无人机收集数据轨迹的方法。

背景技术

随着物联网产业的发展，数据收集成为物联网功能实现的重要基础。虽然许多通信协议和路由算法被提出以实现在物联网和无线传感器网络中的数据收集任务，但是由于传感器节点的移动性以及自然灾害发生时无法保证网络的连通性，这些通信协议和路由算法很难很好地实现既定功能。

发明内容

本发明目的在于提供一种使用强化学习获得无人机收集数据轨迹的方法,以解决传感器节点的移动性以及自然灾害发生时无法保证网络的连通性，这些通信协议和路由算法很难很好地实现既定功能的技术问题。

为解决上述技术问题，本发明的具体技术方案如下：

一种使用强化学习获得无人机收集数据轨迹的方法，输入无人机起始位置，结束位置，地面各节点位置以及各地面节点待传输数据量和能量限制，考虑各地面节点本身待收集数据量不同和各自能量限制，采用Actor-Critic算法设计以最小化收集数据任务完成时间为目标的无人机收集数据轨迹，包括以下步骤：

步骤1、将待仿真区域按步长划分为网格，定义状态空间S，动作空间A以及及时奖励r；

步骤2、使用参数为ω的Critic神经网络表示状态价值函数Q_ω(s,a),与Critic神经网络相同网络结构的目标Critic神经网络参数为ω^-；使用参数θ为的Actor神经网络表示策略π_θ(a|s)，用来表示在状态s下选择动作a的概率，与Actor神经网络相同网络结构的目标Actor神经网络参数为θ^-；

步骤3、随机初始化Critic神经网络参数ω和Actor神经网络参数θ，

初始化Critic目标神经网络参数ω^-＝ω,Actor神经网络参数θ^-＝θ；设置经验回放池容量为D，用于存储s,a,r,s_t+1，其中s_t+1为下一个状态，更新过程取样数量为B；

步骤4、初始回合标志为1，进入大循环，递增遍历直至达到最大回合数限制M，初始化状态为起始状态s₁：

步骤5、对于单个回合内，t从1递增至限制T：

步骤6、根据当前Actor神经网络策略a_t＝π_θ(a|s)选择动作获得即时奖励r_t以及下一个状态s_t+1；

步骤7、存储状态转移记录s_t,a_t,r_t,s_t+1到经验回放池中；

步骤8、从经验回放池中随机选择B条记录(s_i,a_i,r_i,s_i+1)，分别表示当前状态s_i，所执行动作a_i，即时奖励r_i，下一状态s_i+1；