[发明专利]基于A2C的非授权频谱资源共享方法

说明书

本发明涉及一种基于Advantage Actor‑Critic(A2C)的非授权频谱资源共享方法，属于无线通信技术领域。本发明包括以下步骤：S1：将LTE/WiFi共存场景中的资源共享问题描述成合作博弈过程，并提出A2C强化学习算法来解决该问题；S2：设计智能体SBS的动作集合A、奖励函数R，以及状态S；S3：初始化环境，每个智能体SBS获取初始状态值s_t；S4：每个智能体SBS将当前状态s_t输入到自身的Actor网络，独立地选择并执行动作a_t；S5：执行动作a_t后，智能体SBS根据奖励函数获取环境反馈的r_t，然后进入下一个状态s_t+1；S6：智能体SBS根据环境的反馈更新Actor网络和Critic网络权重，并调整接入策略；S7：重复步骤S4‑S6，直到收敛到最优纳什均衡，得到最佳联合接入动作。

技术领域

本发明属于无线通信技术领域，涉及基于A2C的非授权频谱资源共享方法。

背景技术

近年来，通信设备的数量和它们之间交换的数据量不断增长，给当前的蜂窝网络带来了沉重的负担。为了解决这个问题，LTE网络引入了许多新技术，例如大规模多输入多输出MIMO，D2D通信等，尽管有这些先进技术，但有限的许可频谱仍然是容量提升的主要瓶颈。反观非授权频段，尤其是5GHz非授权频段拥有丰富的频谱资源，并且未被充分利用。因此，将LTE网络与传统WiFi系统一起在非授权频段上运行被认为是一种支持爆炸性增长的数据流量的有前途的技术。

然而现有的未授权频段上已经存在发展十分成熟的无线技术，所以在选择未授权频谱用于通信网络的建设时，就必须考虑与已经存在未授权频段上的无线技术共存的问题。在频谱资源分配上，考虑到LTE是一种采用集中调度的频谱分配方案，而WiFi系统采用的是带有冲突避免的载波侦听多路访问接入技术，规定WiFiAccessPoint(WAP)和WiFi用户在传输前必须监听信道，只有信道空闲时才能接入。二者在频谱资源分配上存在着巨大差异，因此，如果LTE系统运行在相同的频段上，WiFi系统可能受到极大的干扰，影响WiFi用户的体验。因此在保证WiFi网络服务质量的情况下，使二者和谐共存成为了研究热点。

深度强化学习综合了强化学习无模型的特点以及深度学习处理大数据的能力，在智能决策、无人驾驶、边缘卸载等领域取得了不错的进展。受到深度强化学习的启发，本文明旨在将强化学习策略引入到免授权频谱共享方案中，让Small Base Station(SBS)实时地监控动态环境，挖掘潜在的重要数据和信息，并且自组织地学习接入策略，以实现蜂窝网与WiFi网络公平高效的共存。

5GHz免授权频段附近有着丰富的带宽资源，将移动通信技术从授权频段拓展到非授权频段有利于5G技术的发展。利用LAA技术作为基础，构建传输速率更高、时延低且耗电量小的网络，可以进一步满足下一代移动通信海量设备的连接需求。

发明内容

有鉴于此，本发明提供了一种基于A2C的非授权频谱资源共享方法来解决LTE与WiFi网络共享非授权频谱资源问题，在保证WiFi网络最低性能要求的情况下，使得SBS之间公平共享未授权资源。

为了达到上述目的，本发明提供如下技术方案：

1.基于AdvantageActor-Critic(A2C)的非授权频谱资源共享方法，包括以下步骤：

S1：将LTE/WiFi共存场景中的资源共享问题描述成合作博弈过程，并提出A2C强化学习算法来解决该问题；

S2：设计智能体SBS的动作集合A、奖励函数R，以及状态S；

S3：初始化环境，每个智能体SBS获取初始状态值s_t；

S4：每个智能体SBS将当前状态s_t输入到自身的Actor网络，独立地选择并执行动作a_t；