[发明专利]一种在线规划时间敏感流的方法、装置及存储介质

权利要求书

1.一种在线规划时间敏感流的方法，其特征在于，包括：

根据Double DQN深度强化学习算法确定预设求解器；

获取业务流信息、网络拓扑信息和网络状态信息；

根据所述业务流信息、网络拓扑信息和网络状态信息提取时间敏感流的关键特征和网络的关键特征；

根据所述时间敏感流的关键特征和网络的关键特征，构建预设求解器求解所需的状态空间；

根据循环队列转发机制所对应的调度和路由规则，构建预设求解器求解所需要的动作空间；

根据优化目标确定预设求解器求解所需的奖励机制；

根据所述状态空间、所述动作空间以及所述奖励机制运行预设求解器求解，得到在线规划结果。

2.根据权利要求1所述的在线规划时间敏感流的方法，其特征在于，

所述时间敏感流的关键特征包括：当前时间敏感流的ID号、发包周期、源地址、目的地址、端到端时延需求、抖动需求、每个周期发包数目和数据包大小；

所述网络的关键特征包括：网络中每个节点每个接口上的每个队列的空间占用率。

3.根据权利要求2所述的在线规划时间敏感流的方法，其特征在于，根据所述时间敏感流的关键特征和网络的关键特征，构建预设求解器求解所需的状态空间，包括：

将提取的网络的关键特征生成状态空间的二维矩阵；

将所述二维矩阵拉伸成一维向量；

将所述一维向量和所述时间敏感流的关键特征拼接，得到预设求解器求解所需的状态空间。

4.根据权利要求1所述的在线规划时间敏感流的方法，其特征在于，根据循环队列转发机制所对应的调度和路由规则，构建预设求解器求解所需要的动作空间，包括：

将一个调度周期内所有的时间槽和网络中所有无环的可达转发路径构成预设求解器的动作空间。

5.根据权利要求1所述的在线规划时间敏感流的方法，其特征在于，

优化目标为使网络容纳的动态时间敏感流的数量最多；

根据优化目标确定预设求解器求解所需的奖励机制，包括：

每步迭代求解时，如果在该步需要规划的时间敏感流被网络容纳，增加奖励值；

每步迭代求解时，如果在该步需要规划的时间敏感流不能被网络容纳，增加惩罚值。

6.根据权利要求1所述的在线规划时间敏感流的方法，其特征在于，所述预设求解器包括神经网络结构和学习算法，

所述神经网络结构包括估计神经网络和目标神经网络，所述估计神经网络和目标神经网络具有相同网络结构和相同初始参数；

所述学习算法机制为根据当前的状态特征，以基于Q值的ε贪婪策略映射出一组动作，并在执行该组动作的过程中与环境交互，得到奖励值并转移到下一个状态，同时采用神经网络的反向传播机制，不断更新和优化神经网络参数，映射出更优的动作，所述学习算法在求解过程中重复迭代上述状态转移过程，直到满足停机准则结束。

7.根据权利要求6所述的在线规划时间敏感流的方法，其特征在于，所述神经网络的反向传播机制中，Double DQN的损失函数通过以下公式表示：

其中，Q(·)是估计神经网络的动作价值函数，y_j是目标价值，s_j是第j个样本的状态，a_j是第j个样本的动作，D_b表示总样本数；

其中，Q′(·)是目标神经网络的动作价值函数，r_j是环境给予第j个样本的即时奖励，γ是折扣因子，ω和分别表示估计神经网络和目标神经网络的参数，每经过M步迭代，目标神经网络的参数会被估计神经网络的参数直接取代，则