[发明专利]一种流量工程方法及系统

说明书

本发明提供一种流量工程方法,所述方法采用智能体，所述智能体中部署有根据网络拓扑信息和业务流信息获取流量工程策略的基线模块和强化学习模块，所述方法包括在预设的周期内重复执行如下步骤：S1、基于网络拓扑信息和业务流信息，通过智能体分别获取由基线模块得到的基于基线方法的流量工程策略和强化学习模块得到的基于强化学习方法的流量工程策略；S2、对比基于基线方法的流量工程策略和基于强化学习方法的流量工程策略的安全性，并执行安全性高的策略；S3、将被执行了的基于基线方法的流量工程策略对应的状态信息存储到示范数据集，将基于强化学习方法的流量工程策略对应的状态信息存储到经验回放数据集，从经验回放数据集和示范数据集中采集样本训练强化学习模块。

技术领域

本发明属于流量工程技术领域，具体来说，涉及SDN环境下的基于强化学习的流量工程领域，更具体地说，涉及一种流量工程方法及系统。

背景技术

随着互联网飞速发展，网络的规模和复杂性不断增加，网络流量爆炸式增长，给网络承载能力和服务质量提出了更高的要求，如何优化网络流量以保证服务质量就成为了需要解决的关键问题。

用于优化网络流量的代表性技术就是流量工程技术(Traffic Engine ering，简称TE)，所谓流量工程技术是指通过对网络流量进行有目的的调度和优化，从而减少网络拥塞、优化网络资源的分配、提升网络整体性能。其中，SDN技术(Software Defined Network，软件定义网络)将控制平面与转发平面进行分离，决策者可基于全局信息进行网络资源的集中式调度和优化，为实施流量工程带来了诸多便利。

现有的SDN环境下集中式流量工程方法主要有以下两类：

1)基于数学规划的流量工程方法。这类方法对网络进行数学建模，并利用数学规划或相应的近似方法对特定目标进行优化，但随着网络越来越复杂，精确建模真实网络模型变得越来越难。

2)基于机器学习的流量工程方法。这类方法无需进行精确的建模，以数据驱动的方式从历史数据中学习出一种流量调度方案，但是由于带标签的数据难获取，在线强化学习方法是这类方法的主流。在这类方法中，一个智能体在每个周期观察当前网络状态，根据当前的策略做出流量工程决策，做出决策后观察网络状态的变化，根据这一反馈改进自己的策略，并不断重复以上过程。但是现有的基于在线强化学习的流量工程方法存在一些问题，影响其使用效果，其中，主要问题包括：(1)交互时间长，学习过程耗时。流量工程方法通常周期性执行，现实中的执行周期一般为5分钟至10分钟。由于在线强化学习方法需要根据这一周期进行采集数据并进行模型更新，因此需要较长时间的交互才能学习到一个好的策略，学习过程前期的效果很可能不如传统方法。(2)难以安全部署。现有方法没有对强化学习生成的决策的安全性加以判断和限制，在线部署的过程中，尤其是学习过程的前期更有可能做出较差的流量工程决策，影响网络质量，甚至对网络带来负面的优化效果。

发明内容

因此，本发明的目的在于克服上述现有技术的缺陷，提供一种新的交互时间短且部署安全的流量工程方法及系统。

根据本发明的第一方面，提供一种流量工程方法,所述方法采用智能体，所述智能体中部署有根据网络拓扑信息和业务流信息获取流量工程策略的基线模块和强化学习模块，所述方法包括在预设的周期内重复执行如下步骤：S1、基于网络拓扑信息和业务流信息，通过智能体分别获取由基线模块得到的基于基线方法的流量工程策略和强化学习模块得到的基于强化学习方法的流量工程策略；S2、对比基于基线方法的流量工程策略和基于强化学习方法的流量工程策略的安全性，并执行安全性高的策略；S3、将被执行了的基于基线方法的流量工程策略对应的状态信息存储到示范数据集，将基于强化学习方法的流量工程策略对应的状态信息存储到经验回放数据集，从经验回放数据集和示范数据集中采集样本训练强化学习模块。

其中，所述预设的周期为根据实际应用场景需求设置的执行流量工程的时间。