[发明专利]TSN网络联合路由选择与流分配方法及相关设备

权利要求书

1.一种TSN网络联合路由选择与流分配方法，其特征在于，包括：

基于软件定义网络，构建TSN网络的系统模型，所述系统模型包括控制器；

构建TSN网络中通信流分配和路由选择问题的马尔可夫决策模型，确定状态空间、动作空间和奖励函数；

将所述控制器作为智能体，基于所述马尔可夫决策模型，以满足约束条件下所述通信流的最小端到端平均时延为优化目标，利用DQN算法得到所述通信流的路由选择策略；所述约束条件由下式表示：Subject to其中，表示通信流从源节点传输到目的节点过程中的端到端时延，t表示时隙，f_k表示通信流，F_TT表示时间触发TT流量的集合，τ_TT表示TT流量的端到端时延的最大值，τ_AVB表示音频桥接AVB流量的端到端时延的最大值，F_AVB表示AVB流量的集合，T表示通信周期，F_BE表示尽力而为BE流量的集合，表示通信流在节点i到节点j已使用的链路容量，u_ij表示节点i到节点j的链路容量；所述优化目标由下式表示：其中，ω₁和ω₂为权重，表示优化倾向，且ω₁+ω₂＝1，T’表示通信周期内所有时隙，表示时隙t下TT流量的归一化平均时延，表示时隙t下AVB流量的归一化平均时延；

根据所述路由选择策略，为各所述通信流分配路由路径。

2.根据权利要求1所述的方法，其特征在于，所述路由选择策略包括：

所述智能体根据当前网络状态，为当前各节点队列中的每个所述通信流选择下一跳节点，直至每个所述通信流均完成路径分配或达到预设的迭代次数。

3.根据权利要求1所述的方法，其特征在于，所述状态空间包括网络状态所述网络状态包括节点链路、节点链路的剩余容量、节点队列和所述通信流的状态；

所述动作空间包括为当前节点中每个所述通信流选择下一跳节点并转发，使所述通信流进入相应的优先级队列；

所述奖励函数r_t由下式表示：

其中，均表示控制函数，当时隙t各所述通信流都到达目的节点时，ρ_t＝-1，否则ρ_t＝0；若当前节点的累计时延超过最大允许时延时，否则若所述通信流未到达目的节点且未超过最大允许延时，η_t＝-1，否则η_t＝0；U均为大于0的常数，Φ_t表示一个与当前节点队列长度正相关的函数。

4.根据权利要求3所述的方法，其特征在于，所述利用DQN算法得到所述通信流的路由选择策略，之前还包括：

获取TSN网络的网络拓扑图；

利用预先训练的图卷积神经网络对所述网络拓扑图的每个节点进行特征提取，以得到特征提取结果；

基于所述特征提取结果对所述网络状态进行更新。

5.根据权利要求4所述的方法，其特征在于，所述图卷积神经网络的层数为2层，所述图卷积神经网络第l层隐藏层的传播规则由下式表示：

其中，σ(·)表示激活函数，表示为每个节点增加自循环，且J表示节点间的连接关系，I为单位矩阵，表示与节点相连接链路数量的度矩阵，W^(l)表示所述图卷积神经网络第l层的权重矩阵，σ(·)表示激活函数；

所述图卷积神经网络的图卷积算子由下式表示：

其中，表示节点i在第(l+1)层的特征，表示节点i在第l层的特征，表示节点i的邻居节点集合，表示归一化因子；

所述图卷积神经网络前向传播公式如下：

其中，表示对进行标准化，H⁽⁰⁾表示节点特征矩阵，W⁽⁰⁾和W⁽¹⁾分别表示图卷积神经网络第一层和第二层的权重矩阵。