[发明专利]基于深度强化学习的网络智能管控架构系统和运行方法

说明书

本发明公开了基于深度强化学习的网络智能管控架构系统和运行方法，应用于网络内部的管理控制。其中架构系统由数据平面、控制平面以及管理平面组成。运行方法为：数据平面通过网络遥测技术探测网络中的各类数据，控制平面接收数据平面上传数据，通过深度强化学习技术进行在线决策并下发配置指令，数据平面接收指令对网络内设备进行处理。管理平面根据各分布式控制平面上传的网络状态数据进行学习，并将知识共享到各分布式控制平面。本发明基于深度强化学习技术，可实现网络内部的智能管控，有效提高网络内部资源利用率。

技术领域

本发明涉及基于深度强化学习的网络智能管控架构系统和运行方法，属于网络内部的管理控制技术领域。

背景技术

随着万物互联时代的到来，各类物联网设备爆炸式增长，VR、远程手术、车联网等各类应用也层出不穷，人们对网络的性能如低延时、高带宽也提出了更高的要求，对网络的控制和管理关系到网络能否对用户提供期望的服务质量。

当前的网络控制和管理架构大都基于终端主机或集中式控制框架，这种框架依赖于手工流程，会产生过多的通信和计算开销，无法及时相应网络动态变化，扩展性和鲁棒性较差。集中式的控制框架即使是对单个网络事件进行响应时，也需要搜集和分析大量网络数据，因此响应网络动态时不能实时做出反应。目前的网络管控方案很大程度上依赖于网络管理人员手工配置流程，网络运维人员需要仔细分析网络行为并设计相应的控制策略（最少需要几周时间），当前网络变得越来越复杂和灵活，手工配置网络其可扩展性和健壮性都很差，已经不能满足当前网络的需求。当前亟需一种新的网络架构来满足当前网络的差异化需求。

近几年，人工智能技术之一的深度强化学习技术飞速发展并被广泛应用于自然语言处理、图像识别、游戏策略计算等领域中。深度强化学习模型能够学习到的策略越来越复杂，训练和执行效率越来越高。与此同时可编程网络硬件的发展，使得在网络中部署深度强化学习算法来分析网络数据，在网络内部执行灵活的处理成为可能。当前对于深度强化学习技术在网络中的应用大多集中于流量分类、流量预测等方面，并未将深度强化学习技术应用于网络的管控。

发明内容

本发明所要解决的技术问题是：提供基于深度强化学习的网络智能管控架构系统和运行方法，将深度强化学习应用于网络控制和管理中，充分利用深度强化学习的自适应能力，能够实现灵敏感知到网络动态变化并及时做出响应，通过学习不断优化网络策略，从而提高网络管控能力，满足用户需求。

本发明为解决上述技术问题采用以下技术方案：

一种基于深度强化学习的网络智能管控架构系统，所述架构系统包括管理平面、多个分布式控制平面以及与各控制平面一一对应的数据平面；分布式控制平面以及与分布式控制平面相对应的数据平面之间存在双向接口，实现数据平面向分布式控制平面上传数据以及分布式控制平面向数据平面下发配置指令；各分布式控制平面与管理平面之间存在双向接口，实现分布式控制平面向管理平面上传数据以及管理平面向分布式控制平面共享知识；

所述数据平面包括网络遥测模块、数据上传模块和策略执行模块；所述分布式控制平面包括数据平台和控制器，其中数据平台包括数据接收模块、数据存储模块和数据预处理模块，控制器包括智能算法模块、在线决策模块和决策下发模块；所述管理平面包括网络数据存储模块、智能算法训练模块和网络知识共享模块；

所述网络遥测模块用于搜集网络状态信息，并将搜集的网络状态信息传送至数据上传模块；

所述数据上传模块用于将所述网络遥测模块传送的网络状态信息上传至与该数据上传模块所在数据平面相对应的分布式控制平面中；

所述数据接收模块用于接收所述数据上传模块上传的网络状态信息；

所述数据存储模块用于存储所述数据接收模块接收的网络状态信息；