[发明专利]基于双估计器的动态路由选择方法

权利要求书

1.一种基于双估计器的动态路由选择方法，在路由节点处具有数据传输系统、队列存储系统、路由选择系统，其特征在于，路由选择方法包括以下步骤：

(1) 通过数据传输系统获取环境信息，所述环境信息包括连通的路由节点与传输延迟；

(2) 预设行动策略为贪心策略，设定的初始值；提供两个估计器，每个估计器的参数包括当前状态、动作，根据步骤(1)中获得的环境信息初始化值函数和奖赏信息；

(3) 每个时间步中，网路中的每个路由节点同时进行数据传输与数据接收的工作，路由节点先从其队列存储系统中取出最前面的数据包进行传输，设数据包的目标路由为d，当前路由为x，则当前状态为，当队列存储系统为空时，不进行数据传输；同时路由进行数据接收的工作，当数据包接收完成后放入队列存储系统中；

(4) 步骤(3)中进行传输时路由的选择方法为，在状态，获得一随机数，当随机数大于时，根据估计器的值函数选取最优动作，否则随机选取动作，得到的对应动作，为选择传输数据的路由节点，通过数据传输系统将数据传输到路由后，得到后续状态和立即奖赏信息，立即奖赏信息包括两部分：数据传输时间t与数据包等待时间w；

(5) 根据步骤(4)中得到的信息，通过双估计器对值函数进行更新，更新方法为：

采用随机方式选择估计器；

被选择的估计器为估计器Q，首先得到在估计器Q中下一个状态的最优动作，其中，函数是指在所有的可选动作中，返回估计器Q的值函数最小的那个动作，a是指在状态S_t+1下的可选动作；接着使用另一个估计器U计算误差，其中t是数据传输时间，w是数据包等待时间，γ为折扣因子，取值0≤γ≤1，表示估计器U在S_t+1状态采用A_t+1动作时对应的值；最后使用误差进行值函数的更新，为学习步长，取值0＜≤1；

(6) 每个时间步重复执行一次步骤(3)至步骤(6)，直至完成数据传输。

2.根据权利要求1所述的基于双估计器的动态路由选择方法，其特征在于：步骤(2)中，初始化时，通过每个路由节点可连通的路由节点初始化值函数的结构，并将其中的值初始化为0。

3.根据权利要求1所述的基于双估计器的动态路由选择方法，其特征在于：步骤(2)中，使用步骤(1)中的传输延迟初始化奖赏信息，作为立即奖赏信息中的数据传输时间的初始值。

4.根据权利要求1所述的基于双估计器的动态路由选择方法，其特征在于：步骤(3)中，接收的数据包被存储到队列存储系统中等待以后的时间步被传输，队列存储系统采用先进先出方式存储。

5.根据权利要求1所述的基于双估计器的动态路由选择方法，其特征在于：步骤(4)中，根据估计器的值函数选取最优动作时，取两个估计器的值函数的平均值，以平均值最小的估计器对应的动作作为最优动作。

6.根据权利要求1所述的基于双估计器的动态路由选择方法，其特征在于：根据对后续奖赏的重视程度选择折扣因子γ的值。

7.根据权利要求1所述的基于双估计器的动态路由选择方法，其特征在于：根据对学习速率的要求选择学习步长的值。