[发明专利]一种在线规划时间敏感流的方法、装置及存储介质

说明书

本发明公开了一种在线规划时间敏感流的方法、装置及存储介质，该方法包括：根据Double DQN深度强化学习算法确定预设求解器；获取业务流信息、网络拓扑信息和网络状态信息；根据业务流信息、网络拓扑信息和网络状态信息提取时间敏感流的关键特征和网络的关键特征；根据时间敏感流的关键特征和网络的关键特征构建预设求解器求解所需的状态空间；根据循环队列转发机制所对应的调度和路由规则构建预设求解器求解所需要的动作空间；根据优化目标确定预设求解器求解所需的奖励机制；运行预设求解器求解，得到在线规划结果。通过实施本发明，解决了网络中在线的对动态时间敏感流和路由联合调度规划的难题，提高了网络对动态业务流的适应能力。

技术领域

本发明涉及工业网络技术领域，具体涉及一种在线规划时间敏感流的方法、装置及存储介质。

背景技术

时间敏感网络、无线确定性网络等具有时延确定性需求的网络是目前国际产业界正在积极推动的全新通信技术，确定性网络为时间敏感流的传输提供了有界端到端传输时延、低传输抖动和极低数据丢失率的可靠保证，且具有广泛的应用场景，例如工业自动化、移动网络、车联网等，在大部分应用场景下，具有硬实时性需求的时间敏感流都是静态的且提前定义好的，所以现有的规划算法普遍适用于离线的场景。

然而针对于在线规划动态时间敏感流的问题，传统的算法计算时间长且开销大，容易陷入局部最优，不适合实时调度业务流。

发明内容

有鉴于此，本发明实施例提供了涉及一种在线规划时间敏感流的方法、装置及存储介质，以解决现有技术中规划时间敏感流的算法不适合实时调度业务流的技术问题。

本发明提出的技术方案如下：

本发明实施例第一方面提供一种在线规划时间敏感流的方法，包括：根据DoubleDQN深度强化学习算法确定预设求解器；获取业务流信息、网络拓扑信息和网络状态信息；根据所述业务流信息、网络拓扑信息和网络状态信息提取时间敏感流的关键特征和网络的关键特征；根据所述时间敏感流的关键特征和网络的关键特征，构建预设求解器求解所需的状态空间；根据循环队列转发机制所对应的调度和路由规则，构建预设求解器求解所需要的动作空间；根据优化目标确定预设求解器求解所需的奖励机制；根据所述状态空间、所述动作空间以及所述奖励机制运行预设求解器求解，得到在线规划结果。

可选地，所述时间敏感流的关键特征包括：当前时间敏感流的ID号、发包周期、源地址、目的地址、端到端时延需求、抖动需求、每个周期发包数目和数据包大小；所述网络的关键特征包括：网络中每个节点每个接口上的每个队列的空间占用率。

可选地，根据所述时间敏感流的关键特征和网络的关键特征，构建预设求解器求解所需的状态空间，包括：将提取的网络的关键特征生成状态空间的二维矩阵；将所述二维矩阵拉伸成一维向量；将所述一维向量和所述时间敏感流的关键特征拼接，得到预设求解器求解所需的状态空间。

可选地，根据循环队列转发机制所对应的调度和路由规则，构建预设求解器求解所需要的动作空间，包括：将一个调度周期内所有的时间槽和网络中所有无环的可达转发路径构成预设求解器的动作空间。

可选地，优化目标为使网络容纳的动态时间敏感流的数量最多；根据优化目标确定预设求解器求解所需的奖励机制，包括：每步迭代求解时，如果在该步需要规划的时间敏感流被网络容纳，增加奖励值；每步迭代求解时，如果在该步需要规划的时间敏感流不能被网络容纳，增加惩罚值。

可选地，所述预设求解器包括神经网络结构和学习算法，所述神经网络结构包括估计神经网络和目标神经网络，所述估计神经网络和目标神经网络具有相同网络结构和相同初始参数；所述学习算法机制为根据当前的状态特征，以基于Q值的ε贪婪策略映射出一组动作，并在执行该组动作的过程中与环境交互，得到奖励值并转移到下一个状态，同时采用神经网络的反向传播机制，不断更新和优化神经网络参数，映射出更优的动作，所述学习算法在求解过程中重复迭代上述状态转移过程，直到满足停机准则结束。