[发明专利]基于Q学习和数据分级的水声网络动态计算簇头路由方法

说明书

基于Q学习和数据分级的水声网络动态计算簇头路由方法，涉及水声通信网络。将水下节点分簇，设簇头CH节点为计算簇头，负责计算数据传输的最优路径以及Q值表的存储，非簇头节点负责数据信号传输。根据水声网络节点的初始位置，选择初始簇头CH节点，再根据非簇头节点的能量变化率选择备用簇头。根据数据优先级程度不同进行数据分级，选择不同的数据传输模式，以保证较高数据优先级的节点优先传输；当初始计算簇头CH节点的剩余能量接近于阈值时，其与备用簇头进行任务交接，优化簇内节点能量的均匀分布，对水声通信网络能量资源的分配进行更加合理的规划，实现水声通信网络基于Q学习和数据优先级的水声通信能耗和时延优化功能。

技术领域

本发明涉及水下通信，尤其是涉及一种基于Q学习和数据分级的水声网络动态计算簇头路由方法。

背景技术

近年来，水声通信网络在海洋环境保护、水下探测、海洋灾害监测、近海作业和海洋军事活动等方面有着广阔的应用前景，引起各国政府、工业界和学术界的高度重视。高效、低功耗的路由方法，作为水下无线传感器网络设计中的重要组成部分，它能保证数据包的快速可靠传输，已成为水声通信网络的研究热点。

水声通信是目前海洋中实现数据远距离可靠传输最为稳健的技术手段。由于水下传感器节点由难以更换的内置电池供电，且数据传输路径的不均匀性容易导致某些节点能量过早耗尽造成网络寿命缩短，因此延长水声网络寿命是最迫切的需求。同时，水声通信网络由于数据量大、传输速率低，容易造成网络堵塞。与陆地无线传感器网络相比，由于水声信道的固有属性，水声通信网络存在诸如能量利用率低、端到端时延长、丢包率和系统能量消耗高、网络拓扑结构适应性差等难题。为此，传统的陆基无线传感器网络路由算法，无法直接应用于水声通信网络，必须针对水声通信网络的固有特性进行路由算法的特殊设计。此外，随着海洋物联网的发展，水声通信网络感知的水下数据量越来越庞大，针对有限的水下资源，如何结合水下信息的不同数据优先级进行数据分级，进而设计合适的路由算法具有重要意义。目前，水声通信网络路由算法研究中，少有考虑数据分级问题。

Y.Lu等人(Y.Lu；R.He；X.Chen；B.Lin and C.Yu,“Energy-Efficient Depth-Based Opportunistic Routing with Q-Learning for Underwater Wireless SensorNetworks”,Sensors 2020,20,1025.)提出一种基于Q学习和深度的能量高效机会路由算法，以保证水声通信网络的节能和数据传输的可靠。该算法结合Q学习技术和机会路由算法的优点，在能量消耗、平均网络开销和报文投递率等方面提高网络性能，但却没有对空洞节点有效利用，使水声通信网络剩余能量的分布不均匀。T.Hu等人(T.Hu and Y.Fei,“QELAR:A Machine-Learning-Based Adaptive Routing Protocol for Energy-Efficient andLifetime-Extended Underwater Sensor Networks”,IEEE Trans.Mobile Comput.,vol.9,no.6,Jun.2010.)提出一种基于强化学习的自适应、节能、生命周期感知的路由方法QELAR。该协议采用通用的MAC协议，旨在通过设计使传感器节点的剩余能量分布更加均匀，以延长网络生命周期。但该方案中，节点之间互相交换信息使能量损耗增大，增加无效损耗。Y.Su等人(Y.Su,R.Fan,X.i Fu and Z.Jin,“DQELR:An Adaptive Deep Q-Network-Based Energy-and Latency-Aware Routing Protocol Design for UnderwaterAcoustic Sensor Networks”,IEEE Access,vol.7,pp.9091-9104,Jan.2019.)提出一种基于深度Q网络的自适应能量和时延感知路由方法(DQELR)，以延长水声通信网络的网络生存时间。还设计广播和单播通信机制的混合，以减少网络开销；具有更低的能耗和严格的时延限制，可以延长水声通信网络中的网络寿命。Z.Jin等人(Z.Jin；Y.Ma；Y.Su；Shuo Li andX.Fu,“A Q-Learning-Based Delay-Aware Routing Algorithm to Extend the Lifetimeof Underwater Sensor Networks”,Sensors 2017,17,1660.)提出一种基于Q学习的延迟感知路由(QDAR)算法来延长水声通信网络的生命周期。在QDAR中，设计一个适应动态环境的数据采集阶段。通过Q学习技术的应用，QDAR可以确定全局最优的下一跳，而不是采用贪婪模式进行下一跳。但由于每次路径设计都需要借助信源节点，可能会增大传播延迟，降低传输速率，导致网络堵塞。