[发明专利]工业互联网中支持大规模设备通信的网络容量优化方法

权利要求书

1.一种工业互联网中支持大规模设备通信的网络容量优化方法，其特征在于，所述工业互联网中支持大规模设备通信的网络容量优化方法包括：

构建工业互联网中支持大规模设备通信的网络系统场景模型；其中，在所述网络系统场景中，设备最多只能重用一个网络用户的子信道资源块；

将所述网络系统场景的容量优化问题建模为马尔可夫决策模型；

以最大化系统容量为目标，基于深度强化学习网络，获取设备最优发射功率，以在保证网络用户和设备的服务质量要求的同时，最大化系统总容量；

基于深度强化学习网络，获取设备最优发射功率，包括：

基于actor-critic框架并采用异步训练结合优势函数的算法，使设备发射端更优选择功率控制的动作，从而获取设备最优发射功率，提高整个系统的总容量；

所述基于actor-critic框架并采用异步训练结合优势函数的算法，使设备发射端更优选择功率控制的动作，包括：

S1，初始化所述网络系统场景的网络参数和神经网络的参数，同时初始化系统的观测空间、动作空间和经验池；

S2，更新时间序列，并重置actor网络和critic网络的梯度更新量，从全局网络更新参数到各个线程；

S3，基于策略选择动作，执行动作后与环境进行交互，获得当前动作的奖励和下一时刻的状态，并将其存储到经验池中；

S4，当存储够预设数量的经验后，采用基于异步优势的actor-critic网络开始进行深度强化学习；其中，深度强化学习的目标是达到长期奖励函数最大化，即在保证用户服务质量的前提下，达到系统的容量最大化；

S5，当算法趋于收敛，即网络总的奖励函数维持在预设范围内不再增长时，终止优化进程，使设备发射端更优选择功率控制的动作；

其中，在所述S3中，动作的选取需要借助构建的深度神经网络，该神经网络为actor-critic网络；基于策略选择动作，包括：

先基于actor网络的策略做出动作的选择，再通过critic网络来评价动作的好坏；其中，全局网络和各个线程网络的结构相同，参数不同；

选择出的动作是依据以下策略：

π(a_t|s_t；θ_v)＝max Q_t(s_t,a_t)

获得当前动作的奖励需要满足下述两个条件：

1)网络用户的信噪比符合系统建模的要求；

2)设备发送端的功率小于最大发射功率等级；

当这两个条件满足后才可以获得即刻奖励，即刻奖励如下：

其中，R表示系统的总的奖励函数，c_i表示第i个用户，d_j表示第j个设备，表示第i个用户的信噪比，表示第j个设备的信噪比；

所述S4中，在actor-critic网络训练过程中，计算每个时刻的Q值并进行奖励值函数的更新，对actor网络和critic网络进行梯度更新，进一步更新全局神经网络的模型参数，直到算法结束；所述优势函数的表达式如下：

A(s_t,a,t)＝Q(s_t,a)-V(s_t)

其中，s_t表示状态，a表示动作，t表示时间，A(s_t,a,t)表示关于当前状态、动作和时间的优势函数，Q(s_t,a)表示关于状态和动作的Q值，V(s_t)表示值函数；

该算法建立在深度神经网络的结构上，当达到最终时间状态序列或者经验值满足条件时，计算最后一个时间序列位置的Q值，其表达式为：

其中，Q(s_t,t)表示目标Q值，s_t为最后一个时间序列位置的状态，θ_v'表示所更新的梯度。

2.如权利要求1所述的工业互联网中支持大规模设备通信的网络容量优化方法，其特征在于，所述马尔可夫决策模型为一阶马尔可夫决策模型。

3.如权利要求1所述的工业互联网中支持大规模设备通信的网络容量优化方法，其特征在于，所述初始化所述网络系统场景的网络参数和神经网络的参数，同时初始化网络的观测空间、动作空间和经验池，包括：

初始化所述网络系统场景的信道增益和设备发送端的功率等级；

初始化深度神经网络的全局网络的参数、各个线程的参数；

初始化系统的观测空间、动作空间和经验池。