[发明专利]基于深度强化学习的频谱地图构建与分发方法及系统

说明书

本发明公开一种基于深度强化学习的频谱地图构建与分发方法及系统，该方法将移动边缘网络中的联合卸载和资源管理问题建模成移动边缘网络中计算与通信折衷模型，并构建一个集中式训练、分布式执行的强化学习框架，该强化学习框架包括离线训练模块和在线执行模块，在线执行模块利用学习到的卸载策略进行频谱地图的分步构建，而离线训练模块则根据认知用户的卸载计算结果对在线执行模块进行动态的更新。本发明提供了一种移动边缘网络场景下网络规模可扩展的频谱地图构建与分发方法，用最小的频谱数据负载和计算开销为网络认知用户提供实时高精度的频谱地图服务，有效提升移动边缘网络的频谱效率和鲁棒性。

技术领域

本发明涉及无线通信网络技术领域，尤其是一种基于深度强化学习的频谱地图构建与分发方法及系统。

背景技术

在移动边缘网络中，认知用户根据感知到的可用频谱信息和自身的计算资源决定自己的卸载策略，单智能体或者不合作的多智能体既不协作也不交换各自的操作，在移动边缘网络频谱地图构建与分发过程中认知用户之间会产生用频冲突或者边缘服务器超负荷导致网络能量消耗增大和用户服务质量降低。

发明内容

本发明提供一种基于深度强化学习的频谱地图构建与分发方法及系统，用于克服现有技术中单智能体或者不合作的多智能体既不协作也不交换各自的操作等缺陷。

为实现上述目的，本发明提出一种基于深度强化学习的频谱地图构建与分发方法，包括以下步骤：

将移动边缘网络中频谱地图的构建与分发问题建模成计算与通信折衷模型，并构建集中式训练、分布式执行的强化学习框架；所述强化学习框架包括离线训练模块和在线执行模块；

根据认知用户自身的频谱感知能力，获取可用带宽信息；

根据所述可用带宽信息和认知用户终端的计算能力，利用离线训练模块对移动边缘网络的带宽和边缘服务器的计算能力进行资源分配，并进行卸载策略的选择；所述卸载策略包括全卸载策略、部分卸载策略和本地计算策略；

通过训练好的在线执行模块，利用选择的卸载策略进行认知用户的数据分发、卸载和计算，并分步构建频谱地图；

实时监测认知用户感知到的可用带宽信息，当监测到可用带宽信息发生变化时，利用离线训练模块对在线执行模块进行重新训练，并确定新环境的卸载策略，以自主适应复杂多变的通信环境。

为实现上述目的，本发明还提出一种基于深度强化学习的频谱地图构建与分发系统，包括：

模型构建模块，用于将移动边缘网络中频谱地图的构建与分发问题建模成计算与通信折衷模型，并构建集中式训练、分布式执行的强化学习框架；所述强化学习框架包括离线训练模块和在线执行模块；

频谱感知模块，用于根据认知用户自身的频谱感知能力，获取可用带宽信息；

资源分配与策略选择模块，用于根据所述可用带宽信息和认知用户终端的计算能力，利用离线训练模块对移动边缘网络的带宽和边缘服务器的计算能力进行资源分配，并进行卸载策略的选择；所述卸载策略包括全卸载策略、部分卸载策略和本地计算策略；

频谱地图构建模块，用于通过训练好的在线执行模块，利用选择的卸载策略进行认知用户的数据分发、卸载和计算，并分步构建频谱地图；

实时监测模块，用于实时监测认知用户感知到的可用带宽信息，当监测到可用带宽信息发生变化时，利用离线训练模块对在线执行模块进行重新训练，并确定新环境的卸载策略，以自主适应复杂多变的通信环境。

为实现上述目的，本发明还提出一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述所述方法的步骤。

为实现上述目的，本发明还提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述所述方法的步骤。