[发明专利]基于深度强化学习的网络能耗与吞吐量联合优化路由方法

说明书

本发明公开了一种基于深度强化学习的网络能耗与吞吐量联合优化路由方法，首先将数据中心网络的路由调度描述为具有两个目标的混合整数非线性规划问题，即最大化网络吞吐量和最小化能量消耗；其次为深度强化学习算法生成大量的训练数据，主要包括当前网络状态、决策行为、奖励和新网络状态；最后选择卷积神经网络和全连接神经网络作为智能体，并使用训练数据对智能体进行训练操作，其核心理论是选择贝尔曼方程来评估每个行为的结果、定义贝尔曼误差为损失函数，通过梯度下降法来对其进行优化，直至收敛。本发明提供的方法适用于大规模、高动态性的数据中心网络，相较于其他方案（如帕累托最优）具备效率高和成本低的优点。

技术领域

本发明涉及一种基于深度强化学习的网络能耗与吞吐量联合优化路由方法，属于光网络通信技术领域。

背景技术

随着信息化社会的不断发展，人们对信息服务的需求量与日俱增，大量的高流量型应用应运而生且对流量需求呈指数级增长，同时由于新的网络应用不断涌现，网络能耗和吞吐量已经成为影响数据中心网络(DCN)网络性能的关键因素。特别是当大量差异化业务接入到数据中心网络时，高效的路由调度策略则是其必要手段。

为此，研究DCN中高效的路由调度策略具有非常实际的应用价值。DCN中的路由调度问题是指，对于到来的业务请求，为其在源节点和目的节点之间选择合适的转发路径，实现DCN中所有业务请求建立连接。然后，考虑到DCN中传输资源有限，同时网络能耗和吞吐量本身就是网络优化中的一对矛盾。因此，这些特征使得DCN中的高效路由调度问题更具挑战性。

传统的路由方案是建立一个路由表，然后运行路由协议，彼此交换路由信息以实现路由共享。当源节点和目的节点相同时，根据路由协议得到的路由结果将会选择同一条路径转发多个业务的流量需求，这将导致网络拥塞。为了减少网络拥塞，基于Dijkstra算法的QoS路由调度策略能够为流量选择满足带宽约束的路由，以保证网络的QoS。但是该方案需要计算从源节点到目标节点的最短路径，这不仅效率低下，而且不适合大规模网络环境，同时也难以满足未来DCN中对于高吞吐量和低能耗的需求。

与此同时，随着人工智能(AI)的迅速发展，强化学习(RL)取得了很大的进步，并且广泛应用于多个研究领域，受到学术界的广泛关注。此外，RL被认为是解决路由优化问题的一种很有前途的技术。一方面，RL可以通过与未来环境进行不断交互，以快速训练获得接近最优解的路由方案；另一方面，RL不需要底层网络的精确数学模型，只需要提前设计好对应的网络环境即可。然而，DCN是一个复杂的动态系统，基于RL的路由算法需要针对不同的网络场景不断学习和训练，这将大大增加网络开销。此外，现有的深度学习(DL)算法通过使用神经网络模型对输入特征进行深度提取，具备对DCN全面感知的能力，同时大量的研究工作表明DL算法具有很强的泛化能力，能够在网络环境状态发生变化时实现有效的泛化。

因此，如何综合DL与RL两者的优势，使用DL实现对DCN状态的实时感知和泛化，然后采用RL算法实现高效的路由调度，以此达到提升DCN网络吞吐量和减少能源消耗的目的是本领域技术人员急需要解决的技术问题。

发明内容

目的：为了克服现有技术中存在的不足，本发明提供一种基于深度强化学习的网络能耗与吞吐量联合优化路由方法，用于解决数据中心网络中网络吞吐量和能源消耗的矛盾。

技术方案：为解决上述技术问题，本发明采用的技术方案为：

一种基于深度强化学习的网络能耗与吞吐量联合优化路由方法，包括如下步骤：

将数据中心网络的路由调度描述为具有最大化网络吞吐量和最小化能量消耗两个目标的混合整数非线性规划问题P0。

采用具有深度强化学习算法的智能体对混合整数非线性规划问题P0进行优化，最终获得优化后的数据中心网络的路由调度方案。

作为优选方案，所述混合整数非线性规划问题P0的表达公式如下：