[发明专利]一种基于增强学习的SDN数据中心拥塞控制方法

摘要

本发明公开了一种基于增强学习的SDN数据中心拥塞控制方法。本发明方法基于SDN的网络背景，提出基于流的拥塞控制思想，引入增强学习中的Q‑learning算法，智能地全局分配流的速率，使网络的数据链路利用率尽可能高，同时又使整个网络避免拥塞，从而实现数据中心的拥塞控制。首先建模一个五元组对问题进行描述；然后提出改进的Q‑learning算法，对Q矩阵进行训练；最后根据流的请求，利用训练得到的Q矩阵，进行拥塞控制。本发明提供了一种控制效果较好，控制算法易实现，稳定性良好以及高效的自适应的SDN数据中心拥塞控制方法。本发明为SDN数据中心的拥塞控制问题提出了一种基于增强学习的智能解决方法。

主权项

一种基于增强学习的SDN数据中心拥塞控制方法，其特征在于，包含如下步骤：步骤1：将增强学习方法引入基于软件定义网络的数据中心，将基于SDN的数据中心拥塞控制问题描述成五元组<F,S,R,A,Q>；其中F表示待分配的流,其队列长度为N；S表示整个链路的状态，是长度为M的矢量；R表示选择action后获得奖励值的一个矩阵；A表示根据链路需求为flow分配速率的行为，是长度为N的矢量；Q表示经过训练得到的Q矩阵，用来表示智能体已经从经验中学到的知识；步骤2：基于改进的Q‑learning算法，对Q矩阵进行训练；具体包含如下步骤：2‑1.按照先验知识，给定奖励矩阵R，并将Q矩阵初始；2‑2.改进增强学习中的Q‑learning算法中选取action的方法，使算法结合当前状态以及当前flow所经过的路径两个条件，在R矩阵中选择最大奖励对应的action；2‑3.执行action，观察reward和新的链路状态，根据迭代更新Q值Q(S,a)；其中，Q(S,a)表示在当前状态S下执行动作a后的Q值，Q(S',a')表示下一状态S'下执行动作a'后的Q值，r是当前状态S下执行动作a后的奖励，γ为折扣因子，α为学习效率，是后续状态的折扣奖励，构成后续状态奖励的改善估计；2‑4.循环执行Q矩阵训练过程，直到s为最终状态，得到训练后的Q矩阵；步骤3：根据具体的flow请求，结合上述步骤2得到的经过训练得到的Q矩阵，进行拥塞控制。