[发明专利]基于双估计器的动态路由选择方法

说明书

本发明公开了一种基于双估计器的动态路由选择方法，在路由节点处具有数据传输系统、队列存储系统、路由选择系统，包括以下步骤：(1)获取环境信息；(2)设定的初始值；提供两个估计器，每个估计器的参数包括当前状态、动作，初始化值函数和奖赏信息；(3)每个时间步中，网路中的每个路由节点同时进行数据传输与数据接收的工作；(4)传输时路由的选择方法为，获得一随机数，当随机数大于时，根据估计器的值函数选取最优动作，否则随机选取动作；(5)通过双估计器对值函数进行更新；(6)每个时间步重复执行一次步骤(3)至步骤(6)。本发明减少了网络的拥塞，能够以较小的成本学习到更好的策略，提高了网络的性能，能够有效处理高随机网络中的路由选择问题。

技术领域

本发明涉及一种网络路由的选择方法，具体涉及一种动态路由选择方法，尤其是适用于高随机网络下的动态路由选择方法。

背景技术

近年来，随着网络技术的发展，网络的总体通信数据不断增加。在日趋复杂的网络中，制定有效的路由策略显得尤为重要。传统的静态路由选择算法通常使用固定规则，例如路由表，进行路由选择。这种方法对于网络状态的波动不能及时做出相应的调整，因此很难应用到负载不确定的大规模网络中。动态路由选择算法能够根据当前的网络状态自动调整路由选择策略，但是一般的动态算法需要全局信息并且复杂度较高，反而增加了网络的负载。

强化学习是一类能从实际环境数据中学习的机器学习方法，在自动控制等领域获得了较为广泛的应用。Q学习是强化学习中的一个经典算法。将强化学习中的Q学习算法应用到路由选择当中，能够以较小的计算成本达到根据网络状态动态调整策略的目的，并且不需要全局信息只通过使用当前路由的信息进行学习。但是，如果在路由算法中直接使用Q学习方法也会存在问题。由于Q学习使用了最大化的估计器来进行函数的估计，因此会产生最大化偏差，导致直接使用Q学习的路由算法在高随机网络中学习到的值函数被高估，从而影响学习速率，使得这种路由选择算法在高随机的网络环境中的性能较差。

发明内容

本发明的发明目的是提供一种基于双估计器的动态路由选择方法，通过对值函数估计方式的改良，实现在高随机的网络状态下较为准确地估计值函数，保证策略的收敛性，通过对当前网络状态的判断，选择最优动作，减少网络拥塞提高网络性能。

为达到上述发明目的，本发明采用的技术方案是：一种基于双估计器的动态路由选择方法，在路由节点处具有数据传输系统、队列存储系统、路由选择系统，路由选择方法包括以下步骤：

(1) 通过数据传输系统获取环境信息，所述环境信息包括连通的路由节点与传输延迟；

(2) 预设行动策略为贪心策略，设定的初始值；提供两个估计器，每个估计器的参数包括当前状态、动作，根据步骤(1)中获得的环境信息初始化值函数和奖赏信息；

(3) 每个时间步中，网路中的每个路由节点同时进行数据传输与数据接收的工作，路由节点先从其队列存储系统中取出最前面的数据包进行传输，设数据包的目标路由为d，当前路由为x，则当前状态为，当队列存储系统为空时，不进行数据传输；同时路由进行数据接收的工作，当数据包接收完成后放入队列存储系统中；

(4) 步骤(3)中进行传输时路由的选择方法为，在状态，获得一随机数，当随机数大于时，根据估计器的值函数选取最优动作，否则随机选取动作，得到的对应动作，为选择传输数据的路由节点，通过数据传输系统将数据传输到路由后，得到后续状态和立即奖赏信息，立即奖赏信息包括两部分：数据传输时间t与数据包等待时间w；

(5) 根据步骤(4)中得到的信息，通过双估计器对值函数进行更新，更新方法为：

采用随机方式选择估计器；