[发明专利]一种基于深度强化学习的CSMA优化方法

权利要求书

1.一种基于深度强化学习的CSMA优化方法，其特征在于，包括以下步骤：

步骤S1、单个节点作为深度强化学习的智能体，完成初始化学习模型参数；获取时隙长度DataSlotTime和周期T；

步骤S2、当某个节点存在待发送帧信息时，节点通过深度强化学习，选择后n个时隙DataSlotTime所采取的动作，将所述动作表示为长度为n的数组Action，其中Action[i]表示后续的第i个时隙中节点要参与信道的竞争；当节点没有待发送帧信息时，该时隙内节点保持接收信息状态，并记录环境信息，直至有待发送帧出现；

步骤S3、节点发送帧信息具体步骤包括：

步骤S3.1、初始化计数器SlotCount＝0；

步骤S3.2、当Action[SlotCount]为真时，代表节点参与此时隙的竞争，则该节点尝试向目的节点发送一个帧；当Action[SlotCount]不为真时，继续等待DataSlotTime时间；当完成发送或等待操作后，计数器加一；

步骤S3.3、重复步骤S3.2，直至SlotCount＝n。

2.根据权利要求1所述的一种基于深度强化学习的CSMA优化方法，其特征在于，所述步骤S2中，将每个节点分别作为深度强化学习的智能体，执行深度强化学习算法，以T＝n×DataSlotTime为基本运行时间单位；则步骤S2中强化学习算法模型表示如下：

State_t＝(NN_t，NI_t，P_t，SEND_t-1)，t＝1，2，3，...

其中State_t代表状态集合，t代表周期数；NN_t代表节点的两跳邻居数量；NI_t表示节点两跳邻居态势信息，在结构上为二维矩阵；P_t代表发送负载，即等待发送的帧的个数；SEND_t-1代表上一周期本节点成功发送数据包的个数；

每个节点各自维护两跳邻居态势信息，通过一跳邻居节点广播的信标帧更新自身态势表，并向一跳邻居广播自身信息和维护的态势表；其中态势信息包括节点发送负载P_n、邻居节点数量NN_n这2个值，NI_t表示为一个2×NN_t的矩阵。

3.根据权利要求2所述的一种基于深度强化学习的CSMA优化方法，其特征在于，所述步骤S2中所述强化学习算法模型中回报函数表示如下：

其中

r_i表示上一动作周期T中第i个时隙奖励值，所述收到正确收到数据帧代表收到任意目的节点的通过CRC校验的帧。

4.根据权利要求1所述的一种基于深度强化学习的CSMA优化方法，其特征在于，所述步骤S3.2中发送一个帧是指采用CSMA/CA方式发送一个帧；具体步骤包括：

步骤S3.2.1、节点以二进制指数退避算法进行回退，设置最小退避窗口CW_min＝2²＝4，最大退避窗口CW_min＝2⁵＝32，最大重复次数为4次，当重复超过4次时，代表回退失败；当回退失败或DataSlotTime时隙剩余时间不足以完成该帧的发送时，则等待时隙结束后执行步骤3.3；

步骤S3.2.2、当节点竞争信道成功时，发送一个帧信息；所述帧信息包括数据帧和信标帧；数据帧由网络层下发获得，用于完成节点间的数据交互；信标帧由MAC层周期性生成，用于完成节点的信息交互及时间同步；当发送的帧信息是数据帧时，使用CSMA/CA方式发送；当发送的帧信息是信标帧时，则使用直接广播的方式发送，发送完成后等待接收端回复的确认帧ACK并记录发送结果；当发送失败时，取消执行重复发送，在后续时隙中进行重传操作。