[发明专利]基于Q学习和数据重要度的水声网络介质访问控制方法

权利要求书

1.基于Q学习和数据重要度的水声网络介质访问控制方法，其特征包括以下步骤：

1)参数初始化：

考虑水声网络内的一个簇，其中包含M个传感器节点和一个簇头节点，M个传感器节点为子节点，子节点负责感知海洋环境中的信息；簇头节点为父节点，父节点负责搜集子节点感知到的信息数据；

父节点的数据搜集过程有N个时隙，为确保每个子节点都拥有一个时隙能将数据发送给父节点，令时隙数N与子节点数M相等；在Q学习算法中，用大小为M×N的Q矩阵描述子节点访问父节点进行数据传输的时隙安排，则Q矩阵的行m表示子节点序号，其中m＝1，2，……，M；Q矩阵的列n表示父节点进行搜集的时隙序号，其中n＝1，2，……，N；因此，Q(m，n)表示子节点m选择在第n个时隙发送数据这一动作对应的Q值；Q(m，n)的值越大表示第m个节点选择第n个时隙的优先级越大；即，子节点m会优先选择矩阵Q的第m行中Q值最大的时隙发送数据；若第m行中出现多个最大的Q值，则随机选择其中一个时隙发送数据；为降低节点运算复杂度，第m个子节点只储存自己所对应的那行1×N的Q值子矩阵Q_m，其中Q＝[Q₁；Q₂；Q₃；……；Q_M]；设每个节点的数据帧格式相同、长度相同，时隙的时间长度也相同，且时隙的时间长度等于水声最大传播时延加数据帧长度；

根据数据的重要程度不同，M个子节点分为三种重要度等级，最不重要的设置为I级，数据在偏后的时隙发送；其次重要的设置为II级，数据在中间时隙发送；最重要的设置为Ⅲ级，数据需要优先发送；不同重要度等级的子节点数量服从正态分布；对于子节点m，有：I级子节点的初始Q值子矩阵Q_m,I＝[0,0,0,……,0,1,2]；II级子节点的初始Q值子矩阵Q_m,II＝[0,0,1……,1,0,0]；III级子节点的初始Q值子矩阵Q_m,III＝[2,1,0,……0,0,0]；

2)Q值更新机制设计：

初始Q值矩阵大小为M×N，每个子节点的初始Q值子矩阵Q_m，i(i＝I,II,III)均由自身的数据重要度等级决定；

对于子节点m，在第一次Q值更新中，按照Q学习公式Q_m(m,:)←(1-γ)·Q_m,i(m,:)+γ·R_m(m,:)更新Q值表；在后续的Q值更新中，按照Q学习公式Q_m(m,:)←(1-γ)·Q_m(m,:)+γ·R_m(m,:)更新Q值表，其中，γ是学习速率，取值为(0,1]，R_m(m,:)是奖励子矩阵，其大小与子矩阵Q_m(m,:)相同；

将子节点k选择的时隙标记为s_k(k＝1，2，……，m-1)，则对于子节点m而言，奖励子矩阵R_m(m,:)的设置如下：

①当n＝s₁，s₂，……，s_m-1时，奖励子矩阵R_m(m,n)均为0，即没有奖励；

②当n≠s₁，s₂，……，s_m-1时，奖励子矩阵R_m(m,n)为正值+|Ψ|，以确保Q_m(m,n)值增加；

2.1)第一次Q值的更新从第1个子节点到第M个子节点依次更新；

2.2)在Q₁的更新中，先通过Q值更新公式对Q₁进行更新，再从Q₁中选择出最大的Q值Q₁(1,i_max)，其中i_max代表时隙的位置，则第i_max个时隙作为拟传输的时隙s₁；若存在多个相同的最大值，则在Q₁(1,:)中随机选择一个最大Q值对应的时隙作为拟传输时隙s₁；

2.3)在更新完Q₁后，对Q₂进行Q值表更新，对于Q₁拟选择的时隙s₁，在Q₂的更新中不予考虑，更新完Q₂后，再从Q₂中选择出最大的Q值Q₂(2,j_max)，则第j_max个时隙作为第2个子节点拟选择的时隙s₂，若存在多个最大值，则在Q₂(2,:)中随机选择一个最大Q值对应的时隙作为拟传输时隙s₂；

2.4)在更新完Q₁，Q₂后，依次对Q₃、Q₄、……进行Q值更新，直至更新到第M个子节点，此前已有(M-1)个子节点拟选择时隙，由于节点数M与时隙数N相等，此时只剩下一个时隙空闲，故对于第M个子节点而言，Q_M(M,:)更新的只有一个时隙位置s_M，将该位置作为拟选择的时隙；

当M个子节点依次完成Q值表更新后，称为一轮更新结束；

2.5)在进行第一轮更新之后，进行第二轮的更新，更新顺序则与第一轮的顺序完全相反，先对第M个子节点进行Q值子矩阵的更新，重复步骤2.2)～步骤2.4)，依次更新到第1个节点，完成第二轮更新；

2.6)重复步骤2.2)～步骤2.5)，不断进行Q值表更新，且每次对Q值子矩阵更新的顺序都与上一次Q值表更新的顺序相反，即在每一轮中按照“S”形的顺序Q值子矩阵进行更新；

3)当连续三次每个子节点拟选择的时隙都与上一次相同时，则Q值表的更新完成；最后一次更新后，Q值表中，子节点拟选择传输数据的时隙，即为子节点最终优化选择的数据传输时隙。