[发明专利]一种基于深度强化学习的CSMA优化方法

说明书

本发明公开了一种基于深度强化学习的CSMA优化方法针对当前时隙CSMA协议中二进制指数回退方案的不公平性，以及在网络规模较大时CSMA传输能力急剧下降的问题；本发明以类似时隙ALOHA的方式将数据划分时隙，单个节点使用深度强化学习的方式决定是否参与本时隙信道竞争，使得网络能够根据实际网络情况智能的进行信道分配，避免了时隙CSMA中发送成功的节点发送概率更高导致的不公平性，同时在网络规模较大时，节点能够智能的降低参与信道竞争的概率，从而避免了大量数据碰撞导致的性能急剧下降。

技术领域

本发明涉及无线通信技术领域，主要涉及一种基于深度强化学习的CSMA优化方法。

背景技术

强化学习是智能体(Agent)以“试错”的方式进行学习，通过与环境进行交互获得的奖赏指导行为，目标是使智能体获得最大的奖赏，强化学习不同于连接主义学习中的监督学习，主要表现在强化信号上，强化学习中由环境提供的强化信号是对产生动作的好坏作一种评价(通常为标量信号)，而不是告诉强化学习系统RLS(reinforcement learningsystem)如何去产生正确的动作。由于外部环境提供的信息很少，RLS必须靠自身的经历进行学习。通过这种方式，RLS在行动-评价的环境中获得知识，改进行动方案以适应环境。

深度学习具有较强的感知能力，但是缺乏一定的决策能力；而强化学习具有决策能力，对感知问题束手无策。因此，将两者结合起来，优势互补，为复杂系统的感知决策问题提供了解决思路。深度强化学习将深度学习的感知能力和强化学习的决策能力相结合，可以直接根据输入的图像进行控制，是一种更接近人类思维方式的人工智能方法。

载波侦听多址接入协议，全称Carrier Sense Multiple Access(CSMA)，是一种允许多个设备在同一信道发送信号的协议，其中的设备监听其它设备是否忙碌，只有在线路空闲时才发送。CSMA/CA(带有冲突避免的载波侦听多路访问)是CSMA在无线网络情况下的一种改进，在无线通信领域得到了广泛应用。

在CSMA/CD系统中，站点是发生了碰撞之后开始执行退避算法的，而对CSMA/CA系统，当一个站点要发送一个分组时，它首先侦听信道的状态，如果信道空闲，而且经过DIFS后仍然空闲，站点就开始发送信息，如果信道忙，则一直侦听信道的空闲时间超过DIFS。当信道最终空闲下来时，站点使用二进制退避算法(binary back-off algorithm)，进入退避状态，以免发生碰撞。因为没有碰撞检测机制，所以站点在信道从忙到空闲时就要执行退避算法。

在网络规模较大、网络负载较重时，同一时间参与信道竞争的节点数量变多，这将导致大量的数据碰撞，从而导致大量的数据重传，从而传输性能大大降低。此外，CSMA还存在较大的公平性不足的问题，如在CSMA/CA中使用二进制退避算法来避免碰撞，由于上次发送成功的节点将获得更小的退避窗口，因此上次发送成功的节点竞争获得信道的概率更大，这种信道分配方式严重的不公平性。

发明内容

发明目的：针对上述背景技术中存在的问题，本发明提供了一种基于深度强化学习的CSMA优化方法，以类似时隙ALOHA的方式将数据划分时隙，单个设备分别作为智能体，获取环境信息并以深度强化学习的方式决定是否参与单个发送时隙的信道竞争，使得网络能够根据实际网络情况智能的进行信道分配，在网络中发送负载较大时智能降低自身参与信道竞争的频率，从而避免了传统CSMA中会发生的大量数据碰撞，提高系统性能和健壮性，同时这也能提高设备间的公平性。

技术方案：为实现上述目的，本发明采用的技术方案为：

一种基于深度强化学习的CSMA优化方法，包括以下步骤：

步骤S1、单个节点作为深度强化学习的智能体，完成初始化学习模型参数；获取时隙长度DataSlotTime和周期T；