[发明专利]一种基于动态优先级的流量调度方法与系统

说明书

本发明公开了一种基于动态优先级的流量调度方法及系统，具体为：发送端根据SDN的网络状态信息计算每条流的剩余时间及优先级；智能决策层服务器使用MADDPG‑Q算法对队列阈值进行优化得到集中式训练的模型；控制层SDN控制器将网络状态信息上报决策层服务器进行模型训练后下发给交换机；转发层可编程交换机通过模型和本地信息获得多级反馈队列阈值，对不同优先级的流分配不同的优先级队列，完成流优先级调度；同时，对同一流优先级区间队列中不同数据包优先级的数据包进行排序，在流优先级改变时调整数据包在队列中的位置，实现动态优先级的队列调度。本发明减少了系统平均流完成时间，能够更好地适应复杂的分布式网络应用。

技术领域

本发明涉及计算机网络技术领域，特别是一种基于动态优先级的流量调度方法与系统。

背景技术

随着信息技术的发展，数据规模逐渐增加，越来越多的应用开始向数据中心迁移。常用的分布式计算框架如Spark、MapReduce、Dryad等和常用的分布式存储框架如Ceph、BigQuery等都一步一步被托管到数据中心上。通过高速数据中心网络将计算或者存储资源互联，数据中心上的分布式应用有着更高的性能、更可靠和更灵活的管理方式。在高度互联的数据中心基础设施给应用带来性能上提升的同时，这些应用也给数据中心网络带来新的挑战。如何处理数量巨大、特征复杂的网络流成为当前需要解决的难题。

在前所未有的庞大训练数据支撑下训练出来的复杂大规模模型精度高、表达能力强，可以有效逼近很多常规方法无法解决的困难问题的决策边界。同时大数据、大规模模型也给人工智能带来新的技术挑战，越来越多的学者和研究机构开始研究分布式的机器学习技术，以便更充分利用大规模数据训练出更准确的大模型。分布式训练的迭代式算法和高频率以及大数据量的参数通信的特点，且计算能力的增长远远领先于网络传输能力，导致通信成本已经成为分布式机器学习平台的性能瓶颈。

流调度的目标通常是保障每类服务中流量之间的公平性，使带宽需求流量的吞吐量最大化，并且使延迟敏感流的完成时间最小化。研究数据中心网络的流量特征，发现网络中的数据流的大小差异较大，并服从重尾分布，且一般大象流为带宽敏感型流量(大象流)，小流为延迟敏感型流量(老鼠流)。在网络传输过程中，对不同数据流设置不同优先级进行有区别的调度，这对网络资源的高效利用具有重大意义。

网络中业务数量和流量分布经常变化，需要时常调整算法参数。由于流量和调度选路策略的随机性，加上数据中心网络交换机浅缓存的现状，导致交换机队列会随机发生拥塞。换句话说，也就是在任何时候任何交换机都有可能发生队列拥塞。队列拥塞会使得数据包经历很长的排队延迟，增加了流的完成时间。由于静态配置方式在频繁操作下存在人工成本高、配置繁琐等问题，传统队列调度算法难以实现细粒度流量控制，导致静态的参数配置不适合动态的网络流量需求。

发明内容

本发明的目的在于提供一种基于动态优先级的流量调度方法与系统，从而克服传统流量调度中队列阈值需要人工配置的繁琐限制，并且能够自适应不同的网络流量分布情况。

实现本发明目的的技术解决方案为：一种基于动态优先级的流量调度方法，设置有发送端、智能决策层服务器、控制层SDN控制器、转发层可编程交换机以及接收端，具体方法如下：

步骤1、在发送端以剩余流大小比上可用带宽计算剩余时间，通过与多级反馈队列阈值进行比较获得流的优先级；

步骤2、智能决策层服务器通过MADDPG-Q算法，自适应地针对多级反馈队列划分队列阈值进行计算和优化，得到集中式训练的多级反馈队列阈值更新模型；

步骤3、控制层SDN控制器连接底层硬件设备和智能决策层，控制器获取全局的网络状态，为智能决策层服务器计算优化阈值提供所需信息，同时将智能决策层服务器训练好的多级反馈队列阈值更新模型下发给转发层可编程交换机；