[发明专利]一种基于智能时隙选择的信道接入方法

摘要

本发明公布了一种基于智能时隙选择的信道接入方法和装置。主要解决了无线传感器网络中网络的动态拓扑性与信道的高效利用无法同时存在的问题。所述方法包括：对无线传感器网络进行模型建立，完成无线传感器网络环境与强化学习方法相结合；确定自定义的帧结构以及时隙数量；初始化状态值向量V(s)以及时隙选择概率Pi；依据时隙选择概率Pi选择时隙进行发送，根据信道接入的反馈情况更新各时隙的奖励值；然后根据各个节点的奖励更新对应时隙的状态值v以及资格迹δ；更新完毕以后，对各个节点状态进行评估，当Vi＞Vth时，认为该节点在第i个时隙处于稳定状态，最后根据以上的状态评估结果以及状态值，调整玻尔兹曼策略的温度因子参数，选择该节点的最优时隙进行发送。本发明实施例，即保证了无线传感器网络的信道利用率，又提高了无线传感器网络的可靠性，具有广泛的应用价值。

主权项

1.一种基于智能时隙选择的信道接入方法，其特征在于，其步骤包括：第一步，根据无线传感器网络环境进行模型建立，将强化学习应用到无线传感器网络的环境之中。将无线传感器节点抽象成具有一定决策能力的Agent，使时间差分(TD)强化学习与信道接入相结合，并对时间差分(TD)强化学习的奖惩函数进行改进；第二步，根据节点数量确定目标帧格式，确定帧结构的同步信息与时隙数量，以范围内节点的数量确定帧格式中时隙的数量，并将用于节点之间同步的信息嵌入ACK确认帧中；第三步，每个节点维护一个状态值向量，为每个时隙绑定一个对应的状态值，初始化节点的状态值向量，使节点从零开始学习，并且初始化起始时隙选择概率，使得节点在起始阶段随机接入；第四步，每个节点依据概率随机接入信道，通过信道接入反馈情况更新奖励，当节点接入成功之后，反馈一个正的奖励，若节点接入失败，则会收到一个负的惩罚；第五步，根据第四步接入信道的情况与奖励，利用时间差分(TD)强化学习方法对该时隙对应的状态值向量进行更新，同时为了体现时隙接入信道的一个资格，对其资格迹也进行更新及维护，更新如下：其中，V_t(i)表示t时刻在时隙i处的值函数，e_t(i)表示t时刻在时隙i处的资格，即其对于产生δ的一个贡献度，α表示学习率。第六步，根据道接入情况，以及各节点的状态值向量，评估该节点是否已经在某个时隙保持稳定状态。第七步，利用评估结果以及状态值向量，通过调整玻尔兹曼策略的温度因子参数τ，充分考虑节点中各时隙的V值分布，获得不同情况下的时隙选择概率，时隙选择概率定义：