[发明专利]数据转发路径规划方法、装置以及电子设备

权利要求书

1.一种数据转发路径规划方法，其特征在于，包括：

获取目标数据包，所述目标数据包对应的初始节点，以及所述初始节点对应的初始节点信息；

根据所述初始节点信息，采用深度强化学习算法进行计算，得到当前转发节点，并将所述目标数据包发送至所述当前转发节点；

在确定所述当前转发节点不是终止节点的情况下，根据所述目标数据包发送至所述当前转发节点的转发过程，更新所述初始节点对应的经验池，其中，所述经验池存储有历史转发过程信息；

基于所述经验池更新所述深度强化学习算法；

根据所述当前转发节点对应的第一节点信息，采用更新后的所述深度强化学习算法进行计算，得到下一转发节点，并将所述目标数据包发送至所述下一转发节点。

2.根据权利要求1所述的方法，其特征在于，还包括：

判断所述下一转发节点是否为所述终止节点；

若所述下一转发节点不是所述终止节点，则循环执行以下操作，直至得到的下一转发节点为所述终止节点：将下一转发节点作为新的当前转发节点，根据所述目标数据包发送至新的当前转发节点的转发过程，更新所述新的当前转发节点的前一节点对应的经验池；基于所述前一节点对应的经验池更新深度强化学习算法，得到更新后的深度强化学习算法；根据所述新的当前转发节点对应的节点信息，采用所述更新后的深度强化学习算法进行计算，得到新的下一转发节点。

3.根据权利要求1所述的方法，其特征在于，所述初始节点信息至少包括：所述目标数据包对应的属性信息、所述初始节点对应的第一拥堵状态和第一资源状态，所述初始节点的相邻节点对应的第二拥堵状态和第二资源状态，获取所述目标数据包对应的所述初始节点信息，包括：

根据所述初始节点中的第一待转发数据量确定所述第一拥堵状态；

根据所述初始节点对应的第一缓存容量和第一带宽，确定所述第一资源状态；

根据所述相邻节点中的第二待转发数据量确定所述第二拥堵状态；

根据所述相邻节点对应的第二缓存容量和第二带宽，确定所述第二资源状态。

4.根据权利要求3所述的方法，其特征在于，所述根据所述初始节点信息，采用所述深度强化学习算法进行计算，得到当前转发节点，并将所述目标数据包发送至所述当前转发节点，包括：

获取所述目标数据包对应的可传输节点集合；

根据所述初始节点对应的所述相邻节点和所述可传输节点集合，得到转发节点集合；

根据所述初始节点信息，采用所述深度强化学习算法进行计算，从所述转发节点集合中确定所述当前转发节点，并将所述目标数据包发送至所述当前转发节点。

5.根据权利要求3所述的方法，其特征在于，所述在确定所述当前转发节点不是终止节点的情况下，根据所述目标数据包发送至所述当前转发节点的转发过程，更新初始节点对应的经验池，包括：

获取所述当前转发节点对应的传输标志，其中，所述传输标志用于指示所述目标数据包是否到达所述终止节点；

获取所述转发过程对应的传输奖励信息，其中，所述传输奖励信息是基于所述目标数据包对应的传输时间信息和资源占用状态信息确定的；

根据所述目标数据包发送至所述当前转发节点的转发过程，建立经验元组，其中，所述经验元组至少包括：所述初始节点信息、所述当前转发节点、所述传输奖励信息、所述当前转发节点信息、所述传输标志；

采用所述经验元组更新所述初始节点对应的经验池。

6.根据权利要求5所述的方法，其特征在于，所述获取所述转发过程对应的传输奖励信息，包括：

根据所述目标数据包在所述初始节点的传输等待时间，以及将所述目标数据包发送至所述当前转发节点的数据传输时间，确定所述目标数据包对应的所述传输时间信息；

根据所述目标数据包在所述初始节点占用的缓存资源信息和带宽资源信息，确定所述目标数据包对应的所述资源占用状态信息；

获取所述传输时间信息对应的第一权重值，以及所述资源占用状态信息对应的第二权重值；

基于所述传输时间信息，所述资源占用状态信息，所述第一权重值以及所述第二权重值，计算所述传输奖励信息。