[发明专利]工业互联网中支持大规模设备通信的网络容量优化方法

说明书

本发明公开了一种工业互联网中支持大规模设备通信的网络容量优化方法，包括：构建工业互联网中支持大规模设备通信的网络场景模型；其中，在该网络场景中，设备最多只能重用一个网络用户的子信道资源块；将该网络场景的容量优化问题建模为马尔可夫决策模型；以最大化系统容量为目标，基于深度强化学习网络，获取设备最优发射功率，以在保证网络用户和设备服务质量的同时，最大化系统总容量。本发明可以减少支持大规模设备通信的无线网络系统的干扰，提高频谱资源利用率，在保证服务质量的同时，最大化系统总容量。

技术领域

本发明涉及无线通信技术领域，特别涉及一种工业互联网中支持大规模设备通信的网络容量优化方法。

背景技术

大规模设备通信技术将在未来工业互联网应用中扮演重要角色。通过其核心技术优势，用户借助大规模设备通信技术无需通过基站中转，因此减轻了移动通信基站的负载。此外，连接到设备的用户可以共享移动通信网络资源，从而提高资源利用率。在支持大规模设备通信的移动通信网络中，设备网络与用户通过共用的频谱资源进行通信。而共用频谱资源造成的干扰可以通过限制重用网络用户的子信道资源块来进行缓解，并对设备发送端的发射功率进行控制来提高系统的资源利用率，以保证系统中网络用户的服务质量。但，目前，在工业互联网中，针对支持大规模设备通信的网络系统的干扰管理和系统容量优化，依然缺乏有效的解决方案，是目前一个亟待解决的技术问题。

发明内容

本发明提供了一种工业互联网中支持大规模设备通信的网络容量优化方法，针对面向工业互联网支持大规模设备通信的无线网络通信系统中的干扰管理和系统容量两个方面进行优化，将大规模设备通信技术应用于无线移动通信网络中。同时基于actor-critic框架，并采用异步训练结合优势函数的算法，使设备发射端更优选择功率控制的动作，从而提高整个系统的总容量。

为解决上述技术问题，本发明提供了如下技术方案：

一方面，本发明提供了一种工业互联网中支持大规模设备通信的网络容量优化方法，该工业互联网中支持大规模设备通信的网络容量优化方法包括：

构建工业互联网中支持大规模设备通信的网络系统场景模型；其中，在所述网络系统场景中，设备最多只能重用一个网络用户的子信道资源块；

将所述网络系统场景的容量优化问题建模为马尔可夫决策模型；

以最大化系统容量为目标，基于深度强化学习网络，获取设备最优发射功率，以在保证网络用户和设备的服务质量要求的同时，最大化系统总容量。

进一步地，所述马尔可夫决策模型为一阶马尔可夫决策模型。

进一步地，基于深度强化学习网络，获取设备最优发射功率，包括：

基于actor-critic框架并采用异步训练结合优势函数的算法，使设备发射端更优选择功率控制的动作，从而获取设备最优发射功率，提高整个系统的总容量。

进一步地，所述基于actor-critic框架并采用异步训练结合优势函数的算法，使设备发射端更优选择功率控制的动作，包括：

S1，初始化所述网络场景的网络参数和神经网络的参数，同时初始化系统的观测空间、动作空间和经验池；

S2，更新时间序列，并重置actor网络和critic网络的梯度更新量，从全局网络更新参数到各个线程；

S3，基于策略选择动作，执行动作后与环境进行交互，获得当前动作的奖励和下一时刻的状态，并将其存储到经验池中；

S4，当存储够预设数量的经验后，采用基于异步优势的actor-critic网络开始进行深度强化学习；其中，深度强化学习的目标是达到长期奖励函数最大化，即在保证用户服务质量的前提下，达到系统的容量最大化；