[发明专利]基于强化学习的低时延网络切片方法

说明书

本发明提出了一种基于深度强化学习的低时延网络切片的方法，通过对网络切片中低时延业务的时延约束条件以及服务功能和链路的映射条件构建了资源分配和路由的最优化问题；在进行求解的过程中，提出建立了该场景下的马尔可夫模型,利用强化学习中的DDQN来求解在低时延网络切片中的路由和资源分配的问题，在针对当前网络状态下所采取的动作则定义为每一条服务功能链下一跳的虚拟功能的部署，采取的动作集为前一跳节点的相邻的节点集合，奖励值则设置为与成功部署的服务功能链条数相关的函数。本发明在资源分配和和提升整个系统的成功部署服务的服务功能链数量以及整个系统资源的利用率等方面具有优越性。

技术领域

本发明设计了一种基于强化学习的低时延网络切片方法，应用于核心网的低时延的服务功能链的部署，属于信息通信技术领域。

背景技术

在5G时代，通信基础架构正在从专用的网络基础设施转移到每一个应用程序中，这样各种各样的应用和服务可以共享同一张网络。特别地，网络切片技术已经成为5G系统进行部署的关键技术，因为它允许运营商灵活地组织网络资源，为用户或者是第三方提供多样性的服务。这一技术特点将会给运营商节省建设成本和运营成本。由于这些原因，提出了具有基于不同网段的切片方案：核心网切片，无线接入网切片，传输网切片。

网络切片的概念是构建多个虚拟的逻辑网络，以便在同一物理网络上提供服务。网络切片技术可以保证服务的差异化以及可以满足服务水平协议。在网络切片实现的过程中，要将对应的虚拟的逻辑网络中的虚拟网络功能放置到相应的通用硬件中，实现真正的物理功能。

在3GPP关于5G的应用场景中定义了三大场景，分别是增强型移动宽带(eMBB)，超可靠和低延迟通信(uRLLC)和大规模机器类型通信(mMTC)，要想在一张网络中能够满足上述不同的场景，网络切片技术将作为主要的实现手段，如何高效的将需求部署到底层的设备中，为客户提供优质的服务将会是网络切片实现方案中的主要的难点。本发明，将对低时延业务场景下的传输网切片的路由和资源分配的问题进行深入的研究。我们将提出一种基于深度强化学习的新方法，用于在低时延切片场景下的动态路由和资源分配的方法。

发明内容

发明目的：本发明的目的是为核心网的低时延网络切片提供基于强化学习的路由和资源分配的算法，有效地解决了在核心网中的资源分配和路由的问题。

技术方案：

一种基于强化学习的低时延网络切片方法，包括以下步骤：

步骤1：首先构建物理网络和服务功能链的数学模型，针对低时延的网络切片的约束条件，对物理网络中的每一条服务功能链进行建模，形成低时延网络切片的数学模型；

步骤2：对当前物理网络场景下的服务功能链进行马尔可夫模型构建，定义当前场景下的状态，动作，奖励值等内容；

步骤3：提出基于强化学习的低时延网络切片的路由和资源分配的算法。

进一步地，步骤1低时延网络切片的数学模型建模如下：

把底层的物理网络结构建模为有向图G＝{N，E}，其中N表示的是底层物理节点集合，底层的网络节点集合通过N＝{n₁，n₂，..，n_|N|}进行表示，n_x表示的是物理节点集合中的第x个物理节点(x∈{1，2，..，|N|})。在底层的物理节点n_x上都拥有计算、存储等资源分别为E表示的是连接任意两个物理节点之间的链路集合，链路(n_x，n_y)∈E的链路带宽资源大小为