[发明专利]一种基于深度强化学习的异构网络节能路由方法

说明书

本发明属于无线传感器网络技术领域，具体涉及一种基于深度强化学习的异构网络节能路由方法，传感器节点根据自身传感器的预定义计划感知环境，收集观测数据并存入对应的缓存队列；并在等待时间内，接收邻居节点传送的聚合数据并存入对应的缓存队列；传感器节点将同一缓存队列中的数据聚合，得到多种类型的聚合数据；根据Q学习自适应算法选择每种类型的聚合数据的下一跳传感器节点并转发；传感器节点根据下一跳传感器节点的响应更新对应传感器的Q表，本发明基于机器学习的自适应路由实现对网络动态变化的实时捕获，用较小的开销实现对整个网络的动态掌控，具有较好的节能性能，有效的延长了网络生命周期。

技术领域

本发明属于无线传感器网络技术领域，具体涉及一种基于深度强化学习的异构网络节能路由方法。

背景技术

在无线传感器网络中，许多传感器节点部署在广域上，以收集观测数据并将其发送到接收器(或服务器)。因此，需要多跳传输来将收集的数据成功地传送到位于源传感器节点传输范围之外的接收器。这需要一个收集传感器节点来计算到接收器的最佳路由。能源效率是无线传感器网络成功应用的主要挑战，但是节点能量有限，部署后无法轻松充电。此外，由于能量主要由无线电设备消耗，因此通信路由算法的节能设计至关重要。

路由协议的能量消耗会影响无线传感器网络(WSN)的生命周期，因为部署后微小的传感器节点通常很难充电。通常，为了节约能源，数据聚合用于最小化和/或消除每个节点上的数据冗余，并减少无线传感器网络中传输的总体数据量。此外，节能路由被广泛用于确定从源到目的地的最佳路径，同时避免能量不足的节点，以节省中继感测数据的能量。在大多数传统方法中，数据聚合和路由路径选择是分开考虑的。各种机器学习技术被用来有效地捕捉节点拓扑变化、受限能量条件、事件检测和通信成本等动态特征，以实现无线传感器网络的节能运行。其中，强化学习(RL)特别适用于包括长期与短期奖励权衡的问题。它为系统提供了一个框架，使其能够从以前与环境的交互中学习，并在将来有效地选择其操作。基于RL的路由协议可以确定最佳路径，作为复杂网络条件和服务质量要求的自适应方法。

发明内容

为解决上述问题，本发明提供了一种基于深度强化学习的异构网络节能路由方法，包括：构建传感器网络，所述传感器网络包括一个sink节点、M个传感器节点、K种不同类型的传感器；传感器设置预定义计划感知环境并采集数据，每种传感器采集的数据类型不同，传感器网络中共有K种数据类型；每个传感器节点都有与K种数据类型一一对应的缓存队列；

基于深度强化学习的异构网络节能路由方法，包括以下步骤：

S1.任一传感器节点中的传感器根据自身的预定义计划感知环境，在自身的预定义计划内收集观测数据并存入对应的缓存队列；

S2.该传感器节点接收来自邻居节点的数据并将其存入对应的缓存队列；

S3.该传感器节点将存储在同一缓存队列的数据聚合，K种缓存队列对应K种聚合数据；

S4.构建基于深度强化学习的Q学习自适应算法，该传感器节点通过Q学习自适应算法为每种聚合数据选择下一跳传感器节点。

进一步的，任一种聚合数据通过Q学习自适应算法选择下一跳传感器节点进行转发的过程为：

S11.传感器节点s确定该聚合数据的数据类型，在Q路由表中选择该数据类型的转发优先级最大的传感器节点s′；

S12.传感器节点s将该聚合数据转发给传感器节点s′，传感器节点s′接收并返回响应数据包，响应数据包包括奖励信息和确认接收信息；

S13.传感器节点s接收响应数据包并更新自身的Q路由表。

进一步的，传感器节点s′接收聚合数据并计算奖励信息反馈给传感器节点s，奖励信息包括数据传输奖励、数据聚合奖励、剩余能量奖励和链路强度奖励四种，分别的计算公式为：