[发明专利]基于强化学习的机器类通信设备接入蜂窝数据网络的方法

权利要求书

1.基于强化学习的机器类通信设备接入蜂窝数据网络的方法，其特征在于，基站对每个机器类通信设备进行调度，在设备需要发送数据时分配上行链路资源，在设备空闲时不分配资源；该方法的具体步骤如下：

步骤1，基站预测即将需要传输数据的设备，构成活跃设备集合；

步骤2，基站使用改进的上置信界算法在活跃设备集合中进行设备选择，并对所选择的设备分配上行链路资源；

步骤3，对基站选择的每个设备进行参数更新以及奖励的分配，进入下一时隙，返回步骤1；

步骤2具体为：

步骤2.1，活跃设备集合是否为空，若是则进入下一时隙，否则进入步骤2.2；

步骤2.2，活跃设备集合中是否存在0次传输成功的设备，若是则基站对该类设备分配上行链路资源，进入步骤2.3，否则进入步骤2.4；

步骤2.3，若上行链路资源被完全分配，则进入步骤2.5；若上行链路资源未完全分配且m＜l，则进入步骤2.4；其中，m为0次传输成功且被分配上行链路资源的设备数量，l为采用MAB方法选择的最高UCB值对应的臂的数量；

步骤2.4，基站选择l-m个最大UCB值对应的设备进行上行链路资源分配，进入步骤2.5；

步骤2.5，对基站选择的每个设备，若C_i,t≥ρ且则按照如下规则更新：

r_i,t←r_i,t+U_i,t，

n_i,t←n_i,t+1，

n’_i,t←n’_i,t+1，

t′←t′+1；

若C_i,t＜ρ或则按照如下规则更新：

r_i,t←r_i,t，

n_i,t←n_i,t，

t′←t′，

n’_i,t←n’_i,t+1；

更新完成后，进入下一时隙；其中，r_i,t为时刻t之前设备i已获得的奖励，U_i,t为时刻t设备i的效用函数，n_i,t为时刻t之前设备i已成功完成数据传输的次数，n_i,t’为时刻t之前设备i已被分配上行链路资源的次数，t'为时刻t之前所有设备已成功完成数据传输的次数，C_i,t为时刻t设备i的数据传输速率，ρ为数据传输所需的最小速度，为时刻t设备i的最大允许接入延迟，t_s为设备i在队列中准备传输数据的时刻，时刻t为当前时隙的开始时刻；

其中W为传输信道的带宽，q_i,t为时刻t设备i的发射功率，h_i,t为时刻t基站和设备i之间的信道，N₀为噪声的功率谱密度；

步骤2.4中若0＜n_i,t≤Th，被选择的设备编号若Th＜n_i,t，被选择的设备编号其中P_i,t为时刻t基站预测设备i需要传输数据的概率，为时刻t的活跃设备集合，P_a为设备i的历史平均需要传输数据的概率，Th为设定阈值，λ、μ、为参数。

2.根据权利要求1所述的基于强化学习的机器类通信设备接入蜂窝数据网络的方法，其特征在于，步骤1中基站使用源流量预测算法预测即将需要传输数据的设备。

3.根据权利要求1所述的基于强化学习的机器类通信设备接入蜂窝数据网络的方法，其特征在于，h_i,t＝a_i,t·g_i,t，其中为小尺度瑞利衰落，不同时刻相互独立；PL_dB为路径损耗，X_σ为方差为σ的对数正态阴影衰落。

4.根据权利要求1所述的基于强化学习的机器类通信设备接入蜂窝数据网络的方法，其特征在于，其中α+β+γ＝1，v_i,t为时刻t设备i的信息价值，为C_i,t的归一化值，a、b、c为参数。