[发明专利]基于深度强化学习的网络能耗与吞吐量联合优化路由方法

权利要求书

1.一种基于深度强化学习的网络能耗与吞吐量联合优化路由方法，其特征在于：，包括如下步骤：

将数据中心网络的路由调度描述为具有最大化网络吞吐量和最小化能量消耗两个目标的混合整数非线性规划问题P0；

采用具有深度强化学习算法的智能体对混合整数非线性规划问题P0进行优化，最终获得优化后的数据中心网络的路由调度方案。

2.根据权利要求1所述的基于深度强化学习的网络能耗与吞吐量联合优化路由方案，其特征在于：所述混合整数非线性规划问题P0的表达公式如下：

P0:min W＝∑_e∈Eg(x_e)

其中，W为网络能耗，T为网络吞吐量，e为链路，E为数据链路的集合，g(x_e)为链路e上的能耗，x_e为链路e上的所有数据流量之和，s为源交换机，d为目的交换机，f_s,d为从源交换机s到目的交换机d的数据流，V为数据中心网络中的交换机节点，为通过链路e的数据流，σ是链路空闲时的能耗，C_e是链路的带宽容量，β是链路冗余参数，α为指数，μ表示一个二进制变量，μ＝1表示链路e是活动链路，而μ＝0是非活动链路，u和v为链路e的两个端点，即u,v∈V，表示源节点为s并且目的节点为d的业务经过链路(u,v)的业务量、表示源节点为d并且目的节点为s的业务经过链路(u,v)的业务量，f^u,v表示链路(u,v)上业务量。

3.根据权利要求1所述的基于深度强化学习的网络能耗与吞吐量联合优化路由方案，其特征在于：采用具有深度强化学习算法的智能体对混合整数非线性规划问题P0进行优化的方法，包括如下步骤：

网络状态s_t输入智能体，智能体依据当前策略_πt针对每个决策行为a_t计算得到的值；

以概率ε选择随机行为a_t，以概率1-ε选择最大值作为新的行为a_t^*；

使用动作a_t^*与环境交互并观察下一个状态s_t+1以及奖励值r_t；

将数据元组{s_t,a_t,r_t,s_t+1}作为新的训练数据，将上述过程不断重复迭代，直到生成一定数量的训练数据；

用一定数量的训练数据对智能体进行训练，当损失函数收敛到阈值时，输出智能体的参数；

利用智能体的参数更新智能体，更新后智能体获得的计算结果对问题P0进行优化，最终获得优化后的数据中心网络的路由调度方案。

4.根据权利要求3所述的基于深度强化学习的网络能耗与吞吐量联合优化路由方案，其特征在于：用一定数量的训练数据对智能体进行训练，当损失函数收敛到阈值时，输出智能体的参数包括：

将训练数据输入Bellman方程，获得

将输入损失函数，并通过梯度下降法来优化损失函数，当损失函数收敛到阈值时，输出智能体的参数；

Bellman方程表达式如下：

其中，r(s_t,a_t)指的是在网络状态s_t下决策行为a_t的奖励，γ是综合当前和未来奖励的折扣因子，是下一个网络状态s_t+1的值；

损失函数表达式如下：

其中，θ_t表示当前时刻下智能体的参数。

5.根据权利要求3所述的基于深度强化学习的网络能耗与吞吐量联合优化路由方案，其特征在于：所述网络状态s_t设置为业务流量需求f_s,d、业务接入位置s、DCN中使用的链路以及链路的负载的综合表征。