[发明专利]一种基于深度强化学习算法的移动sink路径规划方法

说明书

本发明公开一种基于深度强化学习算法的移动sink路径规划方法，利用深度强化学习的方法来完成移动sink的路径规划，将栅格化的网络状态映射为RGB图像输入到深度卷积神经网络中，通过训练不断更新网络参数。在实际应用过程中，只需将实际的网络状态输入到训练好的神经网络中，即可得到sink的最佳行走路径。本发明方法能够综合考虑无线传感器网络的数据时延要求及网络能耗，相比于传统的无线传感器网络，该发明能够有效均衡网络能耗，同时提高能量效率。将网络状态进行栅格化处理，降低了网络状态的复杂度。

技术领域

本发明属于无线传感器网络技术领域，尤其涉及一种基于深度强化学习算法的移动sink路径规划方法。

背景技术

无线传感器网络是由部署在网络区域内大量的传感器节点、采集信息的汇聚节点以及管理节点组成，传感器节点之间以多跳的方式进行通信，形成了多跳自组织网络。无线传感器网络能够对区域内数据进行采集、处理及传输，在网络覆盖区域内，传感器节点采集并处理数据，并转发给其他传感器节点或sink节点。

在传统的无线传感器网络中，所有节点的位置都固定不变，并且传感器节点大都由电池供电，一旦部署就很难更换电池。在WSN中，最典型的数据收集方式是传感器节点数据以多跳的方式传送到基站或sink节点，靠近基站或sink的传感器节点承载了更多的转发任务，能量消耗较快，导致出现能量空洞以及热点等问题。移动sink的引入有效的解决了以上问题，即在sink节点上配备移动装置，通过sink的移动，使得向sink转发数据的节点持续发生变化，均衡节点负载，降低网络能耗。

在基于移动sink的无线传感器网络中，sink按照一定的轨迹在网络区域内移动并采集传感器节点的数据，sink的移动路径和方式影响着整个网络的性能和工作效率。因此合理规划sink的移动路径，使得无线传感器网络数据能够在数据时延要求内被采集，同时保证网络能耗达到最低是这个问题的关键。本发明提出一种基于深度强化学习算法的sink路径规划方法，能够有效提高数据收集效率和网络能效。

发明内容

本发明所要解决的技术问题是针对背景技术提出一种基于深度强化学习算法的移动sink在无线传感器网络区域内的路径规划方法，能够综合考虑数据时延要求及网络能耗。本发明通过对网络环境的图形化处理以及建模，并使用深度强化学习算法进行动作决策，具有较强的实时性。

本发明为解决上述问题采用以下技术方案，具体步骤如下：

步骤1：将无线传感器网络区域近似为一个正方形区域，并做栅格化处理，形成N◇N个大小相等的正方形栅格；

步骤2：无线传感器节点随机散布在网络区域内，每个栅格内随机分布有一定数量的传感器节点，并且假设每个栅格内传感器节点携带的数据类型(时延要求等)相同；

步骤3：按照一定规则在每个栅格内选举出一个汇聚节点，sink收集所在栅格内汇聚节点的数据；

步骤4：根据每个栅格内数据的时延要求及网络能效对栅格内数据进行优先级划分；

步骤5：将栅格化的网络模型映射为一个RGB图像，不同的颜色代表不同的优先级；

步骤6：将RGB图像作为状态输入到深度卷积神经网络中，并做如下处理：

步骤6.1：构建一个多层卷积神经网络，其中包括输入层、4层卷积层、改进的全连接层和输出层，其中，将传统的全连接层分为两部分，分别计算出状态价值及动作优势，并将两者相加作为输出Q值；

步骤6.2：移动sink在当前状态s下，从可行动作值列表中随机选取一个动作值并执行该动作，得到完成动作后的奖励值r以及网络的下一状态s′，获得样本值(s,a,r,s′)；持续采集样本，并存储在经验回放存储器中，形成样本集D；