[发明专利]一种物联网环境中的路由传输路径的确定方法及确定系统

说明书

本发明公开一种物联网环境中的路由传输路径的确定方法及确定系统，所述确定方法包括：根据路由节点的当前状态和当前选择的动作建立马尔可夫路由决策模型；根据所述马尔可夫路由决策模型确定各路由传输路径的值函数；根据各所述路由传输路径的值函数确定路由的优选传输路径。本发明面向路由参量信息不全面，或者完全未知的情况，利用强化学习构建包括节点状态集、转发行动集、状态转移概率、奖赏值的四元组的马尔可夫路由决策模型，利用bellman最优定理，求取最大值函数，获取优选传输路径。当最大值函数对应的策略不唯一时，定义归一化值密度与加权转移概率，以网络与环境需求为加权基准，完成最优路径选择。

技术领域

本发明涉及无线通信领域，特别是涉及一种物联网环境中的路由传输路径的确定方法及确定系统。

背景技术

物联网环境下，网络具有规模大、形式多样、拓扑纷杂的特点，网络形式、能耗、节点数量、移动性等诸多因素对物联网路由提出了更高的要求，需要考虑的参量已然不仅仅是能量，而是多因素之间的均衡。而且，庞杂的网络体系不可避免地面临不确定的环境因素与网络因素，如路由参量信息不全面或者完全未知的情况。如何在不确定条件下完成路由选择，同时均衡路由性能，成为本领域技术人员亟需解决的技术问题。

发明内容

本发明的目的是提供一种物联网环境中的路由传输路径的确定方法及确定系统，能够在路由条件未知或者不全面的情况下提供满足网络需求的路由传输路径。

为实现上述目的，本发明提供了如下方案：

一种物联网环境中的路由传输路径的确定方法，所述确定方法包括：

根据路由节点的当前状态和当前选择的动作建立马尔可夫路由决策模型；

根据所述马尔可夫路由决策模型确定各路由传输路径的值函数；

根据各所述路由传输路径的值函数确定路由的优选传输路径。

可选的，所述根据各所述路由传输路径的值函数确定路由的优选传输路径之后，还包括：

根据各所述路由传输路径的值函数更新所述马尔可夫路由决策模型，获得更新后的马尔可夫路由决策模型，返回所述“根据各所述路由传输路径的值函数确定路由的优选传输路径”。

可选的，所述马尔可夫路由决策模型为：其中，S表示所有状态组成的节点状态集，A(S)表示状态集S对应的所有路由动作的集合；s和s′均为所述节点状态集S中的状态元素，其中，s′表示路由节点在第t个决策时刻的状态，s表示路由节点在第(t+1)个决策时刻的状态，t表示正整数，a表示路由动作，表示路由节点执行路由动作a后由状态s′转移到状态s的概率，表示路由节点执行路由动作a后由状态s′转移到状态s获得的即时奖赏值。

可选的，每条所述路由传输路径的值函数为：

其中，m表示路由传输路径的序号且1≤m≤M，M表示路由传输路径的总数，π表示路由传输路径，表示路由节点状态s对应的第m条路由传输路径的值函数，N表示决策时刻的总数，E_m表示第m条路由传输路径的期望，γ表示折扣因子且γ∈(0,1]，t表示决策时刻的序号，s_t表示第t个决策时刻的状态，r_t表示第t个决策时刻路由节点执行路由动作a后状态s获得的瞬时奖赏值。

可选的，所述根据各所述路由传输路径的值函数确定路由的优选传输路径，具体包括：

根据各所述路由传输路径的值函数计算每条所述路由传输路径的值函数值；

筛选出值函数值最大的路由传输路径作为路由的优选传输路径。

可选的，在所述筛选出值函数值最大的路由传输路径作为路由的优选传输路径之后，还包括：

判断所述优选传输路径的条数是否大于1，获得第一判断结果；