[发明专利]一种物联网环境中的路由传输路径的确定方法及确定系统

权利要求书

1.一种物联网环境中的路由传输路径的确定方法，其特征在于，所述确定方法包括：

根据路由节点的当前状态和当前选择的动作建立马尔可夫路由决策模型；对于不收敛的强化学习问题，采用任务分解的方式，即分层强化学习，分别在子网中进行建模，收敛的强化学习采取无限折扣总报酬准则；

所述马尔可夫路由决策模型为：其中，S表示所有状态组成的节点状态集，A(S)表示状态集S对应的所有路由动作的集合；s和s′均为所述节点状态集S中的状态元素，其中，s′表示路由节点在第t个决策时刻的状态，s表示路由节点在第(t+1)个决策时刻的状态，t表示正整数，a表示路由动作，表示路由节点执行路由动作a后由状态s′转移到状态s的概率，表示路由节点执行路由动作a后由状态s′转移到状态s获得的即时奖赏值；

根据所述马尔可夫路由决策模型确定各路由传输路径的值函数；

每条所述路由传输路径的值函数为：

其中，m表示路由传输路径的序号且1≤m≤M，M表示路由传输路径的总数，π表示路由传输路径，表示路由节点状态s对应的第m条路由传输路径的值函数，N表示决策时刻的总数，E_m表示第m条路由传输路径的期望，γ表示折扣因子且γ∈(0,1]，t表示决策时刻的序号，s_t表示第t个决策时刻的状态，r_t表示第t个决策时刻路由节点执行路由动作a后状态s获得的瞬时奖赏值；

根据各所述路由传输路径的值函数确定路由的优选传输路径；

所述根据各所述路由传输路径的值函数确定路由的优选传输路径，具体包括：

根据各所述路由传输路径的值函数计算每条所述路由传输路径的值函数值；

筛选出值函数值最大的路由传输路径作为路由的优选传输路径；

在所述筛选出值函数值最大的路由传输路径作为路由的优选传输路径之后，还包括：

判断所述优选传输路径的条数是否大于1，获得第一判断结果；

若所述第一判断结果表示所述优选传输路径的条数等于1，则将所述优选传输路径确定为最优传输路径；

若所述第一判断结果表示所述优选传输路径的条数大于1，则根据各所述优选传输路径的值函数值确定每条所述优选传输路径的值密度；

根据各所述优选传输路径的值密度确定每条所述优选传输路径的加权转移概率；

筛选出加权转移概率最大的优选传输路径作为路由的最优传输路径；

根据公式：确定每条所述优选传输路径的值密度，其中，π_i表示优选传输路径，表示第i条优选传输路径，表示路由节点状态s对应的第i条优选传输路径的值密度，I表示优选传输路径的数量，表示路由节点状态s对应的第i条优选传输路径的值函数；

根据公式：确定每条所述优选传输路径的加权转移概率，其中，表示路由节点状态s对应的第i条优选传输路径的加权转移概率，α_i表示根据网络需求确定的第i条优选传输路径的概率系数，所述网络需求包括最低能耗、最短路径、最大生命期和/或最大覆盖范围。

2.根据权利要求1所述的确定方法，其特征在于，所述根据各所述路由传输路径的值函数确定路由的优选传输路径之后，还包括：

根据各所述路由传输路径的值函数更新所述马尔可夫路由决策模型，获得更新后的马尔可夫路由决策模型，返回至步骤根据各所述路由传输路径的值函数确定路由的优选传输路径。