[发明专利]基于强化学习的机器类通信设备接入蜂窝数据网络的方法

说明书

本发明公开了一种基于强化学习的机器类通信设备接入蜂窝数据网络的方法，所述基站对每个机器类通信设备进行调度，在设备需要发送数据时分配上行链路资源，在设备空闲时不分配资源。该方法的具体步骤为：步骤1，基站预测即将需要传输数据的设备，构成活跃设备集合；步骤2，基站使用改进的上置信界算法在活跃设备集合中进行设备选择，并对所选择的设备分配上行链路资源；步骤3，对基站选择的每个设备进行参数更新以及奖励的分配，进入下一时隙，返回步骤1。本发明针对基站预测算法重复多次预测错误的情况进行专门的优化，旨在降低基站预测错误传递的影响。

技术领域

本发明涉及一种基于强化学习的机器类通信设备接入蜂窝数据网络的方法，属于通信随机接入领域。

背景技术

在第五代移动通信技术海量通信类设备环境中，存在大量的机器类通信设备同时访问基站，将导致蜂窝数据网络过载、随机接入信道拥塞和信令碰撞，造成机器类通信设备完成数据传输的过程大大延迟。上行链路分配(fast uplink grant)是新提出的一种无需设备上行传输信令，基站预测即将需要传输数据的通信类设备集合，并分配上行链路资源给设备的接入方案，但是由于基站预测算法不能准确预测设备集合，会出现多次重复预测错误的情况，现有的设备选择方案对于这种情形的鲁棒性较差。

发明内容

本发明的设计方案是在已有的上行链路分配模式的具体方案的基础上，针对基站预测算法重复多次预测错误的情况进行改进，降低了基站预测错误传递对于系统性能的影响，针对基站预测错误的情形进行了专门的优化，同时保证优化对预测正确时的较小影响。

本发明为解决上述技术问题采用以下技术方案：

基于强化学习的机器类通信设备接入蜂窝数据网络的方法，基站对每个机器类通信设备进行调度，在设备需要发送数据时分配上行链路资源，在设备空闲时不分配资源；该方法的具体步骤如下：

步骤1，基站预测即将需要传输数据的设备，构成活跃设备集合；

步骤2，基站使用改进的上置信界算法在活跃设备集合中进行设备选择，并对所选择的设备分配上行链路资源；

步骤3，对基站选择的每个设备进行参数更新以及奖励的分配，进入下一时隙，返回步骤1。

进一步，步骤1中基站使用源流量预测算法预测即将需要传输数据的设备。

进一步，步骤2具体为：

步骤2.1，活跃设备集合是否为空，若是则进入下一时隙，否则进入步骤2.2；

步骤2.2，活跃设备集合中是否存在0次传输成功的设备，若是则基站对该类设备分配上行链路资源，进入步骤2.3，否则进入步骤2.4；

步骤2.3，若上行链路资源被完全分配，则进入步骤2.5；若上行链路资源未完全分配且m＜l，则进入步骤2.4；其中，m为0次传输成功且被分配上行链路资源的设备数量，l为采用MAB方法选择的最高UCB值对应的臂的数量；

步骤2.4，基站选择l-m个最大UCB值对应的设备进行上行链路资源分配，进入步骤2.5；

步骤2.5，对基站选择的每个设备，若C_i,t≥ρ且则按照如下规则更新：

r_i,t←r_i,t+U_i,t，

n_i,t←n_i,t+1，

n’_i,t←n’_i,t+1，

t′←t′+1；

若C_i,t＜ρ或则按照如下规则更新：