[发明专利]基于A2C的非授权频谱资源共享方法

权利要求书

1.基于A2C的非授权频谱资源共享方法，其特征在于：该方法包括以下步骤：

S1：将LTE/WiFi共存场景中的资源共享问题描述成合作博弈过程，并提出A2C强化学习算法来解决该问题；

S2：设计智能体SBS的动作集合A、奖励函数R，以及状态S；

S3：初始化环境，每个智能体SBS获取初始状态值s_t；

S4：每个智能体SBS将当前状态s_t喂给自身的Actor网络，独立地选择并执行动作a_t；

S5：执行动作a_t后，智能体SBS根据奖励函数获取环境反馈的r_t，并进入下一个状态s_t+1；

S6：智能体SBS根据获得的反馈r_t更新Critic网络权重θ，调整Actor网络选择动作的策略；

S7：重复步骤S4-S6，直到收敛到最优纳什均衡。

2.根据权利要求1述的基于A2C的非授权频谱资源共享方法，其特征在于：在步骤S1中，我们将WiFi网络视为一个随机的环境，把LTE-WiFi共存场景中的未授权频谱资源共享问题表述为一个合作博弈过程，引入A2C算法来解决该问题。

3.根据权利要求1述的基于A2C的非授权频谱资源共享方法，其特征在于：在步骤S2中，针对共存系统，我们的目的旨在充分保护WiFi网络性能的情况下，实现SBS之间公平的共享非授权频谱资源。考虑到不同的SBS有不一样的聚合流量需求，我们定义出吞吐量需求比率β来作为SBS之间公平共享非授权资源的指标，β_j可表示为其中，u_j为SBS j的吞吐量，d_ji为SBS j所服务的用户UE i的流量需求。我们的目标是最大化所有SBS之间最小的吞吐量需求比率，以实现SBS之间公平的共享非授权频谱资源。

除此之外，为了防止WiFi网络性能的显著下降，我们假设每个WiFi用户的最低吞吐量需求R_min必须被满足。因此，将此共存问题描述为数学公式为：

其中，R_m为WAPm的吞吐量，为WAPm所支持的用户数量。

在保证每个WiFi用户的最低吞吐量被满足的前提下，我们的目标是最大化所有SBS之间最小的吞吐量需求比，以实现SBS之间公平的共享非授权频谱资源。于是，推导出奖励函数的表达式为：

智能体SBS的动作可表示为信道选择和接入时长的组合，表示为a_t＝[C_t,T_t]，其中C_t∈{c₁,c₂,...,c_k,...,c_K}，K是非授权信道的数量。T_t∈{0,T_S,2T_S,...,8T_S},T_S长度为1ms。

状态是智能体SBS j决策的基础。其中包括SBS j的吞吐量需求比β_j，以及与SBS j共享同一条非授权信道的WAP所服务的WiFi用户平均吞吐量R_j，该类信息可通过监控信道收集。例如解码WiFi数据包头未加密部分，提取网络分配向量NAV中的信息。由此，我们可将状态s_t表示为：s_t＝[β_j，R_j]。

4.根据权利要求1述的基于A2C的非授权频谱资源共享方法，其特征在于：在步骤S3中，对LTE/WiFi共存系统进行初始化，得到初始状态s_t。

5.根据权利要求1述的基于A2C的非授权频谱资源共享方法，其特征在于：在步骤S4中，每个智能体SBS独立地将s_t输入到自身的策略网络Actor，输出为所有动作的概率值，根据其策略选择动作a_t，并将在下一个执行周期内执行该动作。