[发明专利]基于多智能体强化学习的分布式动态频谱接入方法

说明书

本发明公开一种基于多智能体强化学习的分布式动态频谱接入方法，该方法将多用户分布式动态频谱接入问题建模成多智能体马尔科夫合作博弈模型，并构建集中式训练、分布式执行的多智能体强化学习框架，该多智能体强化学习框架包括离线训练模块和在线执行模块，在线执行模块利用学习到的接入策略进行认知用户的频谱接入，而离线训练模块则根据认知用户的频谱接入结果对在线执行模块进行动态的更新。本发明提供了一种通信环境自主适应、网络规模可扩展的多用户协作频谱接入方法，在避免对授权用户的干扰时，减少认知用户之间的接入冲突，从而最大化认知用户的接入成功率，提高频谱的利用效率。

技术领域

本发明涉及无线通信网络技术领域，尤其是一种基于多智能体强化学习的分布式动态频谱接入方法及系统。

背景技术

在认知无线网络中，认知用户采用overlay的方式机会接入授权用户的频谱空洞进行数据传输。分布式的多用户动态频谱接入面临两大挑战：一是避免认知用户对主用户的干扰，也就是当主用户占用授权频谱进行数据传输时，认知用户不能接入对应的频谱；二是避免认知用户之间的接入冲突，也就是避免两个以上认知用户接入同一个频谱空洞，导致数据传输不成功。由于单个认知节点感知能力有限，只能观测到部分信道状态信息。同时，由于隐藏节点、遮蔽物等因素的影响，导致认知用户的感知信息不完全，不准确。

发明内容

本发明提供一种基于多智能体强化学习的分布式动态频谱接入方法及系统，用于克服现有技术中认知用户机会接入授权用户的频谱空洞进行数据传输时会对主用户产生干扰，同时认知用户之间会产生接入冲突导致通信系统吞吐量低等缺陷。

为实现上述目的，本发明提出一种基于多智能体强化学习的分布式动态频谱接入方法，包括以下步骤：

将多用户分布式动态频谱接入问题建模成多智能体马尔科夫合作博弈模型，并构建集中式训练、分布式执行的多智能体强化学习框架；所述多智能体强化学习框架包括离线训练模块和在线执行模块；

根据认知用户自身的窄带感知能力，获取局部频谱占用信息；

根据所述局部频谱占用信息，通过训练好的在线执行模块，利用学习到的接入策略进行认知用户的频谱接入；

实时监测认知用户的接入成功率，当成功率低于阈值时，离线训练模块对在线执行模块进行重新训练，以自主适应各种通信环境。

为实现上述目的，本发明还提出一种基于多智能体强化学习的分布式动态频谱接入系统，包括：

算法构建模块，用于将多用户分布式动态频谱接入问题建模成多智能体马尔科夫合作博弈模型，并构建集中式训练、分布式执行的多智能体强化学习框架；所述多智能体强化学习框架包括离线训练模块和在线执行模块；

频谱感知模块，用于根据认知用户自身的窄带感知能力，获取局部频谱占用信息；

频谱接入模块，用于根据所述局部频谱占用信息，通过训练好的在线执行模块，利用学习到的接入策略进行认知用户的频谱接入；

实时监测模块，用于实时监测认知用户的接入成功率，当成功率低于阈值时，离线训练模块对在线执行模块进行重新训练，以自主适应各种通信环境。

为实现上述目的，本发明还提出一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述所述方法的步骤。

为实现上述目的，本发明还提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述所述方法的步骤。

与现有技术相比，本发明的有益效果有：