[发明专利]自组织网络中基于深度强化学习的MAC协议切换方法

说明书

本发明公开了一种自组织网络中基于深度强化学习的MAC协议切换方法。主要解决现有技术无法处理庞大的状态空间、投票开销大、决策时间长、切换过程中网络出现短时间内性能骤降的问题。其实现方案为：1.节点接入信道；2.选取MAC协议，并根据所选择MAC协议的不同完成不同程度时钟同步；3.根据智能体产生的引导信息决定是否切换；4.对需要将MAC协议切换至TDMA的节点进行邻节点投票；5.运行TDMA节点通过广播将MAC协议切换至CSMA/CA协议。本发明提高了处理庞大状态空间的能力，实现了分布式多跳自组网MAC协议间的平滑切换，避免了复杂的投票决策过程，大幅减少维护时钟同步所需开销，可用于自组织网络。

技术领域

本发明属于通信技术领域，更进一步涉及一种媒质接入控制MAC协议切换方法，可用于自组织网络。

背景技术

近年来，随着自组网技术的不断发展，自组网的MAC协议在朝着智能方向演进，通过流量感知、能量感知、延时感知等新的手段可获取网络中各种多样的信息，并利用强化学习与机器学习等方式将获取到的信息转换为能增强网络性能的一些动作，例如通过调整MAC协议的参数以增强协议的鲁棒性。

西北工业大学在申请号为202110531551.0专利文献中提出一种基于Q-Learning的水声网路MAC协议切换办法，其通过建立的集中式水声网络MAC协议切换的马尔可夫模型和业务量等级与MAC协议类型的联合模型描述网络状态，构造网络的综合性能作为回报函数，对当前状态进行实时价值评价，并通过在不同场景下选择最优的MAC协议，实现网络综合性能的最优化。该方法所说能减小控制开销，有效适应网络对业务量、拓扑的变化，但仍存在以下不足：

1.该方法由于仅考虑了单跳的自组织网络场景，对于多跳的移动自组织网络并不适用；

2.该方法由于采用集中式的处理方法，若中心节点出现异常，则会导致网络无法正常工作；

3.该方法中由于没有考虑TDMA与slot ALOHA的切换过程中的时钟同步的处理问题，导致切换过程中可能会需要较大开销来维持TDMA所需的精准时钟同步。

南京航空航天大学在申请号为201910535357.2专利文献中提出一种可同步切换的无人机自组网自适应媒体接入控制方法。该方法通过将自身的成功传输和接收数据量、时延以及包重发率状态信息进行分级评估，获得无人机自身的状态信息，单个无人机节点根据当前的状态信息和Q表信息做出判断，并将判断结果作为预选择的结果；无人机飞行自组网使用基于实用拜占庭容错PBFT的共识决策模块容错得到分布式共识MAC协议结果，根据该结果同步切换MAC协议，并更新Q表。该方法可以实现无人机飞行自组网容错自适应的同步切换两个不同的MAC协议，针对不同的需求和场景，使用不同的MAC协议。但该方法在当分级增加或者增加新的状态信息引起状态空间数十倍增加的情况时，无法处理庞大的状态空间；同时由于其使用的PBFT决策方法，会随着网络规模的增加而增加投票的开销和决策的时长；此外由于该方法没有考虑TDMA与CSMA对于时钟同步的不同依赖程度，会导致切换过程中网络出现短时间内的性能骤降。

发明内容

本发明的目的在于克服上述现有技术的不足，提出一种自组织网络中基于深度强化学习的MAC协议切换方法，以在不同类型的MAC协议切换过程中，减少决策时长与投票所需开销，保证网络在切换过程中性能稳定，提高处理庞大信息状态空间的能力，并在多跳自组织网络中分布式地实现不同MAC协议间的平滑切换，避免因为某个节点出现故障而导致网络无法正常工作。

实现本发明目的的技术思路是：通过引入深度强化学习提高了节点处理由多个网络参数组成的庞大状态空间的能力，使节点能够实时选择最适的MAC协议；通过修改现有RTS/CTS的帧结构，并采用单跳邻节点投票的方式，实现分布式的多跳自组网MAC协议间的平滑切换，避免复杂的投票决策过程，同时实现了节点的分布式切换且不同节点运行不同MAC协议时不影响网络正常工作；通过按需的方式维护时间同步，大幅减少维护时钟同步所需开销。

根据上述思路，本发明的实现步骤包括如下：