[发明专利]基于深度学习的TCP拥塞动态控制方法及装置

说明书

本发明提供一种基于深度学习的TCP拥塞动态控制方法及装置，包括：代理获取传输环境的状态按照策略确定一个动作，动作为TCP会话的数据传输动作；传输环境基于动作对下一个传输环境进行改变，并将改变后的环境信息作为回报传输至代理；获取时序上连续的K个历史经验，对所述K个历史经验进行处理后作为输入至时序卷积网络模型中得到历史信息；代理基于所述历史信息以及回报和\或累积回报确定下一个动作。基于深度强化学习通过挖掘网络历史经验为处理网络拥塞提供了一种新的方案，通过实验分析历史经验K的取值，并进行调整进行动作的改变，使得本发明能够在瓶颈链路带宽较小的网络中部署TRL‑CC，TRL‑CC较NewReno和RL‑CC在吞吐量和延迟方面达到了更好的性能。

技术领域

本发明涉及数据传输技术，尤其涉及一种基于深度学习的TCP拥塞动态 控制方法及装置。

背景技术

随着互联网规模和网络应用的不断增加，网络拥塞现象日益显著，尽管 高带宽的网络链路能够在一定程度上满足网络服务的需求，提高吞吐量和降 低延迟等，但更高端的硬件资源价格昂贵且没有从本质上解决网络拥塞问题， 更可行的是对高层的拥塞控制协议进行设计或改进。

在有线和无线网络中，TCP是被广泛探讨的话题。同时，拥塞控制是网 络中最基本的问题。多年来，许多端到端拥塞控制理论被提出。例如，Reno 根据返回的确认字符(ACK)信息调整拥塞窗口，在低带宽、低时延的网络中可 以发挥出优势。但是在高带宽延时网络中，RTT很大，拥塞窗口增长慢，导 致带宽利用率降低。Cubic使用cubic函数调整拥塞窗口，其优点在于只要 没检测到丢包，就不会主动降低发送速率，可以最大程度的利用网络剩余带 宽。但这也将会成为其短板。Vegas将时延作为拥塞出现的信号。如果RTT 超过了预期的值则开始减小拥塞窗口。还有包括BBR，Compound等端到端的 拥塞控制协议。这些协议都有各自独特的设计，他们使用固定的函数或者规 则调整拥塞窗口的变化。对于上述传统的拥塞控制协议，固定规则策略限制 了他们适应现代网络的复杂性和快速变化。更重要的是，这些拥塞控制协议 不能从历史经验中学习。

在过去研究者们已经利用机器学习方法来解决传统TCP协议的局限性。 例如，Remy使用机器学习的方式生成拥塞控制算法模型，针对不同网络状态 采用不同的方式调整拥塞窗口。它通过离线方式进行训练，通过输入各种参 数(如瓶颈链路带宽、时延等)，反复调节目标函数使其达到最优，最终会生 成一个网络状态到调节方式的映射表。当训练的网络模型假设和实际网络的 假设一致时，Remy可以很好的工作。但是当实际网络假设发生改变时，Remy 的性能会下降。它的映射表是在训练时计算得出的，与传统的TCP及其变种一样，它无法适应不断变化的网络环境，每当网络环境发生变化时，它必须 重新计算映射表。PCC摒弃基于规则的模式，可以快速适应网络中不断变化 的条件。它不断地通过“微型实验”积极寻找更优的发送速率。但是，贪婪 地寻找更优的发送速率会让其陷入局部最优的地步。并且，它的性能需要依 靠准确的时钟。不论是Remy还是PCC，它们都把网络环境视为黑匣子，抛弃 了传统的基于规则的设计模式，专注于寻找可以达到最好性能的发送速率改 变规则。但是，它们都没有利用先前的经验。

拥塞控制算法在保证应用数据进行可靠传输中起着重要的作用。但是， 网络环境是复杂且动态变化的，链路的信息具有非透明性，这对设计拥塞控 制算法提出了更高的挑战。如附图1A，通信双方的通信链路带宽不均衡。当 以1Mb/s从S向R发送数据时，超过链路所提供的最大带宽，在M处会发生 拥塞，导致网络性能变差甚至崩塌。此时S就会减小拥塞窗口，降低其发送 速率。NewReno遇到此类问题时执行固定的AIMD规则，在网络出现拥塞时， 拥塞窗口的大小默认缩减至原始值的1/2，这种设计浪费了网络资源，从而 严重降低了网络的性能。

传统的TCP NewReno是通过AIMD规则维持调拥塞窗口大小。AIMD主要 包含三个步骤：

慢开始：cwnd＝cwnd+1(每个ACK都被发送方收到)

拥塞避免：cwnd＝cwnd+1/cwnd(每个ACK都被发送方收到)