[发明专利]基于深度学习的TCP拥塞动态控制方法及装置

权利要求书

1.一种基于深度学习的TCP拥塞动态控制方法，其特征在于，包括：

代理获取传输环境的状态按照策略确定一个动作，所述动作为TCP会话的数据传输动作；

传输环境基于所述动作对下一个传输环境进行改变，并将改变后的环境信息作为回报传输至代理；

获取时序上连续的K个历史经验，对所述K个历史经验进行处理后作为输入至时序卷积网络模型中得到历史信息；

代理基于所述历史信息以及回报和\或累积回报确定下一个动作；

获取时序上连续的K个历史经验包括：

选取以下信息，包括拥塞窗口w、一次发包时间内的吞吐量(tp)、往返时间(RTT)、最小RTT和RTT之比υ_RTT、RTT和最小RTT两者之间的差值d_RTT、发送数据包后返回的确认字符τ_ACK，基于以上信息生成状态空间，状态空间S通过以下集合表达，包括：

S＝[s₁，s₂，...，s_k]；

其中s_t表示通过以下公式表达，包括：

S_t＝[w(t)，tp(t)，RTT(t)，υ_RTT(t)，d_RTT(t)，τ_ACK(t)]；

代理选取状态空间S集合中的K个历史经验作为时序卷积网络的输入，提取时序上隐式的因果关系，代理将提取的隐式特征压成一维张量作为DQN的输入。

2.根据权利要求1所述的TCP拥塞动态控制方法，其特征在于，

所述代理基于所述历史信息以及回报进行确定下一个TCP会话的数据传输动作中，基于以下公式进行计算下一个动作A_i的Q函数值，包括：

3.根据权利要求2所述的TCP拥塞动态控制方法，其特征在于，

所述策略基于以下步骤获得，包括：

策略π(a|s_t)基于状态空间(S)到动作空间a映射，通过以下公式表达，包括：

π(a|s_t)·S→A。

4.根据权利要求3所述的TCP拥塞动态控制方法，其特征在于，

所述回报基于以下步骤获得，包括：

代理根据当前状态s_t随机和\或根据所述策略固定的选取动作a_t并从环境中获得回报r(s_t,a_t)，通过以下公式表达，包括：

R_t＝r(s_t，a_t)+γ·R_t+1。

5.根据权利要求4所述的TCP拥塞动态控制方法，其特征在于，

计算代理在状态s_t下执行动作a_t后获得的累计回报，通过以下公式表达，包括：

6.根据权利要求1所述的TCP拥塞动态控制方法，其特征在于，

所述回报的取值基于效用函数得到映射；

其中效用函数基于以下公式表达，包括：

U＝Utility_t+RTT-Utility_t；

其中Utility为回报函数，通过以下方式计算每个时刻的回报函数，包括：

Utility_t＝α×log(tp(t))-βlog(RTT(t))；

其中α，β代表吞吐量，RTT的权重，且α+β＝1。