[发明专利]基于深度强化学习的网络智能管控架构系统和运行方法

权利要求书

1.一种基于深度强化学习的网络智能管控架构系统，其特征在于，所述架构系统包括管理平面、多个分布式控制平面以及与各控制平面一一对应的数据平面；分布式控制平面以及与分布式控制平面相对应的数据平面之间存在双向接口，实现数据平面向分布式控制平面上传数据以及分布式控制平面向数据平面下发配置指令；各分布式控制平面与管理平面之间存在双向接口，实现分布式控制平面向管理平面上传数据以及管理平面向分布式控制平面共享知识；

所述数据平面包括网络遥测模块、数据上传模块和决策执行模块；所述分布式控制平面包括数据平台和控制器，其中数据平台包括数据接收模块、数据存储模块和数据预处理模块，控制器包括智能算法模块、在线决策模块和决策下发模块；所述管理平面包括网络数据存储模块、智能算法训练模块和网络知识共享模块；

所述网络遥测模块用于搜集网络状态信息，并将搜集的网络状态信息传送至数据上传模块；

所述数据上传模块用于将所述网络遥测模块传送的网络状态信息上传至与该数据上传模块所在数据平面相对应的分布式控制平面中；

所述数据接收模块用于接收所述数据上传模块上传的网络状态信息；

所述数据存储模块用于存储所述数据接收模块接收的网络状态信息；

所述数据预处理模块用于对上述数据存储模块存储的网络状态信息进行数据清洗，得到预处理后的网络状态信息，并将所述预处理后的网络状态信息传送至所述智能算法模块，同时传送至所述网络数据存储模块；

所述智能算法模块用于在接收到所述数据预处理模块传送的预处理后的网络状态信息后，在线加载深度强化学习模型，并启动在线决策模块针对预处理后的网络状态信息做出相应配置指令，由在线决策模块将配置指令传送至所述决策下发模块；

所述决策下发模块用于将所述在线决策模块传送的配置指令下发至所述决策执行模块；

所述决策执行模块用于根据所述决策下发模块下发的配置指令对网络内传输数据包进行处理；

所述网络数据存储模块用于接收所述数据预处理模块传送的预处理后的网络状态信息并存储，同时调用所述智能算法训练模块针对预处理后的网络状态信息进行离线深度强化学习算法训练并生成新的深度强化学习模型；

所述网络知识共享模块用于将所述智能算法训练模块生成的新的深度强化学习模型部署在各分布式控制平面的智能算法模块中。

2.根据权利要求1所述的基于深度强化学习的网络智能管控架构系统，其特征在于，所述数据平面由可编程网络交换机提供能力支撑。

3.根据权利要求1所述的基于深度强化学习的网络智能管控架构系统，其特征在于，所述网络遥测模块搜集的网络状态信息包括网络带宽、链路利用率、微突发流量、链路拥塞和转发路径。

4.根据权利要求1所述的基于深度强化学习的网络智能管控架构系统，其特征在于，所述网络遥测模块利用网络遥测技术搜集网络状态信息。

5.一种根据权利要求1-4任一项所述的基于深度强化学习的网络智能管控架构系统的运行方法，其特征在于，所述运行方法具体如下：

步骤1，利用数据平面中的网络遥测模块搜集网络状态信息，并将网络状态信息经数据上传模块上传至与数据平面相对应的分布式控制平面中的数据平台；

步骤2，数据平台接收网络状态信息并对其进行存储和预处理，得到预处理后的网络状态信息；

步骤3，数据平台将预处理后的网络状态信息传送至控制器，同时传送至管理平面中的网络数据存储模块；

步骤4，控制器接收到预处理后的网络状态信息后，利用智能算法模块在线加载深度强化学习模型，并启动在线决策模块针对预处理后的网络状态信息做出相应配置指令，经决策下发模块将配置指令下发至数据平面中的决策执行模块；

步骤5，管理平面中的网络数据存储模块接收预处理后的网络状态信息并存储，随后调用智能算法训练模块针对预处理后的网络状态信息进行离线深度强化学习模型训练并生成新的深度强化学习模型，同时，调用网络知识共享模块将新的深度强化学习模型部署在各分布式控制平面，以全局协调的方式实现网络管控。