[发明专利]基于Q学习和数据重要度的水声网络介质访问控制方法

说明书

基于Q学习和数据重要度的水声网络介质访问控制方法。父节点搜集子节点数据的传输过程分为若干个时隙，每个子节点的数据重要度等级分为三个等级，通过合理设置奖励机制，对Q值表的子矩阵依次更新；在子矩阵的更新中，先更新Q值子矩阵，节点拟选择子矩阵中Q值最大的位置作为传输时隙，再更新下一个子矩阵；对后续的子矩阵更新，若选择前述已选择时隙所对应的Q值那一列，则奖励值为0，而从拟选择子矩阵中Q值最大所在列作为传输时隙；当所有节点都选择好时隙后，在下一轮的Q值表更新中，子矩阵的更新顺序与上一次更新顺序相反。当各节点拟选择的时隙三次都与上次拟选择的时隙相同时，则表示Q值已训练到稳定，最后拟选择的时隙为最终时隙。

技术领域

本发明涉及水声网络，尤其是涉及一种基于Q学习和数据重要度的水声网络介质访问控制方法。

背景技术

随着海洋物联网建设的推进和实施，应用水声通信技术在水下救援、水下勘探、环境污染监测和地震等海洋灾害预测等方面发挥着重要作用。在水下数据搜集过程中，水声传感器网络(以下简称“水声网络”)的介质访问控制(MAC)协议优化设计至关重要。

水声网络通常具有节点数量多、数据量大、数据传输易冲突、信道利用率低以及节点高能耗等特点。在水下数据搜集应用时，目前研究者大多都是针对数据传输易冲突、信道利用率低和节点高能耗等特点进行MAC协议设计，较少考虑传感器节点的数据重要度问题。在MAC协议设计中，Q学习算法可以帮助水声网络选择出一个较优的数据多址接入顺序(陈友淦，黄伟迪，等.基于Q学习的节点数量可变水声网络介质访问控制方法，中国发明专利申请号202110791390.9)；而在实际水声数据搜集和传输过程中，大量的数据会存在某些重要数据需要优先发送，某些不重要的数据可以稍后发送的情况(陈友淦，熊长静，等.基于信息重要度和Q学习算法的水声网络路由选择方法，中国发明专利申请号202011623741.7)。因此，当节点的数据重要度等级存在差异时，通过MAC协议设计出合理的数据传输顺序显得尤为重要。

发明内容

本发明的目的在于针对水声传感器网络节点数据重要度存在差异，某些节点的数据需要优先传输的问题，提出利用Q学习算法，通过优化设计初始Q值表和奖励机制，提供一种当节点的数据重要度等级存在差异时，能快速地设计出重要节点优先发送、非重要节点最后发送的水声数据搜集智能MAC协议，以优化不同节点的水声数据传输顺序的基于Q学习和数据重要度的水声网络介质访问控制方法。

本发明包括以下步骤：

1)参数初始化：

考虑水声网络内的一个簇，其中包含M个传感器节点(以下简称“子节点”)和一个簇头节点(以下简称“父节点”)，子节点负责感知海洋环境中的信息，父节点负责搜集子节点感知到的信息数据；

父节点的数据搜集过程有N个时隙，为确保每个子节点都拥有一个时隙能将数据发送给父节点，可令时隙数N与子节点数M相等。在Q学习算法中，用大小为M×N的Q矩阵描述子节点访问父节点进行数据传输的时隙安排，则Q矩阵的行m(m＝1，2，……，M)表示子节点序号，Q矩阵的列n(n＝1，2，……，N)表示父节点进行搜集的时隙序号。因此，Q(m，n)表示子节点m选择在第n个时隙发送数据这一动作对应的Q值。Q(m，n)的值越大表示第m个节点选择第n个时隙的优先级越大。即，子节点m会优先选择矩阵Q的第m行中Q值最大的时隙发送数据；若第m行中出现多个最大的Q值，则随机选择其中一个时隙发送数据。为降低节点运算复杂度，第m个子节点只储存自己所对应的那行1×N的Q值子矩阵Q_m，其中Q＝[Q₁；Q₂；Q₃；……；Q_M]。设每个节点的数据帧格式相同、长度相同，时隙的时间长度也相同，且时隙的时间长度等于水声最大传播时延加数据帧长度。