[发明专利]基于多智能体强化学习的分布式动态频谱接入方法

权利要求书

1.一种基于多智能体强化学习的分布式动态频谱接入方法，其特征在于，包括以下步骤：

将多用户分布式动态频谱接入问题建模成多智能体马尔科夫合作博弈模型，并构建集中式训练、分布式执行的多智能体强化学习框架；所述多智能体强化学习框架包括离线训练模块和在线执行模块；

根据认知用户自身的窄带感知能力，获取局部频谱占用信息；

根据所述局部频谱占用信息，通过训练好的在线执行模块，利用学习到的接入策略进行认知用户的频谱接入；

实时监测认知用户的接入成功率，当成功率低于阈值时，离线训练模块对在线执行模块进行重新训练，以自主适应各种通信环境。

2.如权利要求1所述的基于多智能体强化学习的分布式动态频谱接入方法，其特征在于，所述离线训练模块包括集中训练器，所述集中训练器通过网络边缘计算服务器进行构建；

所述在线执行模块包括策略网络，所述策略网络加载在认知用户端。

3.如权利要求2所述的基于多智能体强化学习的分布式动态频谱接入方法，其特征在于，所述离线训练模块通过公共信道收集认知用户与无线环境的交互信息，利用收集到的交互信息给每个认知用户训练一个相互协作的策略网络，并将训练好的策略网络参数通过公共信道发送给对应的认知用户以更新对应认知用户端策略网络的参数。

4.如权利要求1所述的基于多智能体强化学习的分布式动态频谱接入方法，其特征在于，实时监测认知用户的接入成功率，包括：

根据认知用户的频谱接入情况，利用多智能体强化学习框架输出当次频谱接入的奖励值；

根据所述奖励值实时监测认知用户的接入成功率。

5.如权利要求4所述的基于多智能体强化学习的分布式动态频谱接入方法，其特征在于，根据认知用户的频谱接入情况，利用多智能体强化学习框架输出当次频谱接入的奖励值，包括：

将所有认知用户的接入成功次数相加作为每个认知用户的效用函数；

根据所述效用函数在多智能体强化学习框架内建立奖励函数；

根据认知用户的频谱接入情况，利用所述奖励函数输出当次频谱接入的奖励值。

6.如权利要求5所述的基于多智能体强化学习的分布式动态频谱接入方法，其特征在于，所述奖励函数为：

式中，表示t时刻所有认知用户的效用函数；表示t时刻认知用户n的接入成功次数；oⁿ表示t时刻认知用户n的观测；aⁿ表示t时刻认知用户n的接入动作；N表示认知用户的总数。

7.如权利要求2所述的基于多智能体强化学习的分布式动态频谱接入方法，其特征在于，所述策略网络为深度循环神经网络结构。

8.一种基于多智能体强化学习的分布式动态频谱接入系统，其特征在于，包括：

算法构建模块，用于将多用户分布式动态频谱接入问题建模成多智能体马尔科夫合作博弈模型，并构建集中式训练、分布式执行的多智能体强化学习框架；所述多智能体强化学习框架包括离线训练模块和在线执行模块；

频谱感知模块，用于根据认知用户自身的窄带感知能力，获取局部频谱占用信息；

频谱接入模块，用于根据所述局部频谱占用信息，通过训练好的在线执行模块，利用学习到的接入策略进行认知用户的频谱接入；

实时监测模块，用于实时监测认知用户的接入成功率，当成功率低于阈值时，离线训练模块对在线执行模块进行重新训练，以自主适应各种通信环境。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1～7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1～7中任一项所述方法的步骤。