[发明专利]一种基于深度强化学习的水下无线传感器网络拓扑控制方法

说明书

本发明公开了一种基于深度强化学习的水下无线传感器网络拓扑控制方法；它分为离线训练和在线控制两个阶段，在离线训练阶段，根据已有的网络信道和传输信息，在强化学习的框架下按照预定的拓扑控制顺序去训练网络拓扑控制方法；在此过程中本发明设计了一种基于强化学习的拓扑控制方法，它能够获得能耗均衡且连通的网络拓扑结构；同时本发明提出了一个基于深度学习的蒙特卡洛树搜索方法去评估拓扑控制过程中每个动作选择的收益；在线控制阶段，拓扑控制中心定期接收来自水下传感器节点的信息包，获取有关网络信道和传输状态的有用参数值；根据这些参数值，拓扑控制中心使用与离线训练部分相同的强化学习框架生成网络拓扑，以适应当前动态的水下环境；本发明可以根据水下通信环境为水下无线传感器网络重新生成网络拓扑，在满足网络连通性要求的同时有效延长网络生命周期。

技术领域

本发明主要涉及水下无线传感网络技术领域，尤其涉及一种基于深度强化学习的水下无线传感器网络拓扑控制方法

背景技术

水下无线传感器网络是一种实时、便捷、易扩展的水下信息感知和收集的网络，能够提高对海洋环境的监控和预测能力，以及增强处理海洋突发事件的能力。它有着广泛的应用场景，如海洋信息采集、环境监测、深海探测、灾害预测、辅助导航、分布式战术监控等。在水下无线传感器网络中，水下传感器节点通常由电池供电，电池容量严重受限，充电不方便。为了保证海洋应用的服务时间，支持海洋应用的水下无线传感器网络的网络生命周期至关重要。然而，在复杂、动态的水下环境中，优化水下无线传感器网络的网络生存期是一个非常具有挑战性的问题。首先，水下通信的能耗远高于地面无线传感器网络通信的能耗。此外，低质量的水下无线信道容易造成数据重传问题，进一步增加水下无线传感器网络的能量消耗。例如，水声通信质量容易受到多普勒效应、多径效应和海洋环境噪声等多种因素的影响；水下环境的浑浊度影响水下无线光通信的信道质量。此外，水流引起的水下传感器节点移动容易破坏网络拓扑结构，降低水下无线传感器网络的数据传输的可靠性。

拓扑控制是优化水下无线传感器网络的网络生命周期的重要方法之一。拓扑控制的目的是在保证网络连通性和网络覆盖的前提下，为水下无线传感器网络的数据传输阶段提供一种传输功率降低、网络负载均衡的网络拓扑。然而，现有的水下无线传感器网络拓扑控制策略缺乏及时有效地感知网络整体状态(信道状态和传输状态)的能力。具体来说，为了降低算法复杂度，提高计算效率，水下无线传感器网络的拓扑控制策略大多采用分布式启发式设计，无法从全局角度获取水下信道状态的特征。此外，数据传输阶段相关内置协议(路由协议和MAC协议)的传输状态特征也影响拓扑控制策略的设计；这是因为拓扑控制本质上是为数据传输服务的。综上可知，如果水下无线传感器网络的拓扑控制策略不能充分考虑上述状态特征，将会严重削弱其优化网络生命周期的性能。因此，需要在水下无线传感器网络中设计一种能够充分感知整个网络各种状态的拓扑控制方法。

如期刊论文“A Complex Network Approach to Topology Control Problem inUnderwater Acoustic Sensor Networks”提出了一种基于复杂网络的水下无线传感器网络拓扑控制策略，该策略以最小化传输能耗和提高数据传输可靠性为目标，根据水下传感器节点的局部信息去构建一种双分簇的网络拓扑结构，在保证网络拓扑具有复杂网络特征的前提下最小化网络能耗，从而延长网络生命周期。但是它没有考虑复杂动态的水下信道对网络拓扑的整体影响以及没有考虑后期运行的相关传输协议是否适用于该网络拓扑，从而导致数据传输成功率低以及网络生命周期短的问题。针对现有水下无线传感器网络的拓扑控制策略无法充分利用整体网络的信道和数据传输信息的问题，本发明提出了一种基于深度强化学习的水下无线传感器网络拓扑控制方法；它能有效保证网络连通性，降低和均衡网络能量消耗，从而延长网络生命周期。

发明内容