[发明专利]一种非授权频谱智能接入方法

权利要求书

1.一种非授权频谱智能接入方法，其特征在于：该方法包括以下步骤：

S1：初始化环境参数和智能体参数：环境由共存的WiFi接入点构成，故环境参数包括WiFi接入点的退避参数以及提出的接入框架的时间参数；具体而言，需要设置的退避参数包括初始窗口大小CW，WiFi接入点包长T_W和最大退避阶数m，需要设置的时间参数包括β_E、β_SF和β_S，智能体参数主要包括接入策略更新要用到的训练参数；

S2：初始化环境状态s_t＝s₁和经验回放机制RB：状态s_t被定义为：

其中f_t为时刻t时共存网络的公平性指数，f_t被定义为：

其中K表示共存网络中WiFi接入点的数目，和分别表示时刻t∈(t-T_F,t]中第i个WiFi接入点和LTE小基站智能体的吞吐量，分别定义为：

式中，T_F表示反馈周期的长度，T_W和T_L分别表示WiFi接入点和LTE小基站在当前反馈周期传输的包长或帧长，故吞吐量含义为在反馈周期T_F中成功发送的包长或帧长所占据T_F的比例；故初始状态基于当时共存网络具体的吞吐量和公平性计算得到；此外，LTE小基站包含一个经验回放机制RB，用于存储过往的经验以便样本接入策略的提升；

S3：LTE小基站选择动作：LTE小基站根据当前状态选择接入动作，而动作选择的策略需要权衡对与环境的探索和已有知识的利用，ε-贪心策略能很好地满足上述要求，其表达式定义为：

式中，ε∈[0,1]称为控制参数，其大小表明了LTE小基站在动作选择上的偏好；表示该等式表明以概率1-ε选择令当前Q值最大的动作，或者以概率ε随机从动作集合A中选择动作；接入动作a_t定义为：

a_t＝[AT_t,TX_t]

式中，AT_t∈{0,T_SF,2T_SF,…,NT_SF}表示接入时刻，为LTE小基站基本传输单位子帧T_SF的整数倍；TX_t∈{T_SF,2T_SF,…,MT_SF}表示接入后的传输时长，为LTE小基站基本传输单位子帧T_SF的整数倍；智能体需要学习到一个控制策略，该策略可以知道智能体在当前状态下何时接入以及接入后传输持续时间；

S4：LTE小基站执行动作：根据所提非授权频谱接入框架，在后续β_E个执行周期中执行动作a_t，收到环境反馈的奖励r_t并更新状态至s_t+1；奖励值r_t的定义为：

式中，共存网络总吞吐量被定义为：

S5：将转移样本e_t＝(s_t,a_t,r_t,s_t+1)存储到经验回访机制RB；

S6：接入策略更新：由于Q-网络用于近似动作价值函数Q(s_t,a_t；θ)≈Q(s_t,a_t)，故LTE小基站接入策略的更新相当于Q-网络权重θ的更新；具体而言，LTE小基站从RB中随机抽取批量为H的样本，对损失函数采用梯度下降法更新Q-网络权重；对于每一个经验样本，该过程表达式为：

式中，y_j表示目标值，由目标Q-网络Q′(·)参与计算得到，其定义为：

S7：训练终止，输出最优接入策略；此策略由Q-网络表示：

该式表示由Q-网络输入为信道状态s_t，则可以由输出端得到最优接入动作