[发明专利]一种基于Q学习和LSTM神经网络的快速路由决策方法

摘要

本发明公开了一种基于Q学习和LSTM神经网络的快速路由决策算法，该算法主要分为模型训练和动态路由决策两个阶段；模型训练阶段主要是利用启发式算法根据不同的QoS请求计算出满足约束条件的最优或者较优路径。之后将该启发式算法的输入和其相应的输出联合构成机器学习模型的训练集，并以此作为不同路由的目标Q值来对决策模型进行训练。在此基础上，当控制器收到新的QoS请求时，相应的机器学习模型将会把当前的网络状态和请求中的约束条件一同作为模型的输入，通过LSTM和Q学习相结合的路由决策模型快速计算出相应的Q值，完成预测并输出最优路径。该过程所需的时间比起启发式算法的来说将大大缩短，而结果却十分相似。

主权项

1.一种基于Q学习和LSTM神经网络的快速路由决策算法，其特征是，包括如下步骤：1)建立模型并进行训练：在不同的网络状态下，利用启发式算法根据不同的QoS请求计算出满足约束条件的最优或者较优路径；将该启发式算法的输入和其相应的输出联合构成机器学习模型的训练集，其中启发式算法输入的当前网络状态作为训练样本的特征，算法输出的最优路径相应的Q值作为训练样本的标签；将其网络状态和业务需求作为输入，最优路由作为输出，存入网络路由知识库；2)动态路由决策：当控制器收到新的QoS请求时，相应的机器学习模型将会把当前的网络状态和请求中的约束条件一同输入LSTM神经网络中，并根据相应的决策流程得到该状态下不同动作a即转发路由所对应的Q值；选择Q值最大所对应的路由即最佳路由进行转发。