[发明专利]基于双曲正割学习率因子的Q路由方法

说明书

本发明公开基于双曲正割学习率因子的Q路由方法，在路由中使用适应性更好、性能更稳健的双曲正割算子，根据网络不同情况自适应地调节路由；继承了Q路由中对网络路由进行自适应决策的特点，解决了原有算法中附加学习率因子调节能力有限的问题，采用调节范围覆盖全面的双曲正割调节因子，使训练前期Q值更加可靠，路由性能更加稳健，网络中数据从信源节点到信宿节点的平均递交时间降低；只需要利用局部邻居节点信息及数据包信息即可实现路由选择，避免过大的网络开销，适合于无线自组织网络。本发明能有效地减少网络在高、低负载时数据的平均递交时间，降低路由间的振荡，提高数据包的投递率。

技术领域

本发明属于通信技术领域，涉及无线自组织网络的Q路由，具体是基于双曲正割学习率因子的Q路由方法，用于无线自组织网络。

背景技术

多年来，关于无线自组织网络的路由研究一直是热点问题。无线自组织网络通过多跳节点进行通信，尤其适用于在紧急环境中的网络部署，节点获取环境中的信息，并进行信息的交互。无线自组织网络中没有固定的基础设施，网络中没有集中控制的节点，节点间通过自组织成网来进行通信。在移动自组织网络中，节点的移动导致拓扑不断变化。传统路由算法中由于灵活性差、计算复杂度高等原因，不能适应高度变化的网络拓扑变化给网络路由带来的极大挑战，而且已有的基于对流量和网络状况改变大量假设的路由技术越来越被认为不适合复杂、高度变化条件的移动无线延迟容忍网络。事实上，假设条件如果在现实网络不能满足，网络性能与预期模拟性能将存在很大偏差。在这些方面所做的工作主要有：对节点队列长度进行检测，利用各节点反馈的时延信息更新网络，从环境交互中进行学习，权衡路由中探索与利用的关系。

强化学习适用于解决与分布式系统相关的优化问题，Q学习(Q-learning)是强化学习中最常用的学习方法。Q学习的作者Watkins证明了只要在所有状态下对所有动作进行重复采样，Q学习就能以概率1收敛到最佳动作值。因此，Q学习是延迟强化学习中应用最广泛和最有效的学习方法，并被应用在Q路由算法中，然而收敛速度仍然是一个悬而未决的问题。自适应全回波Q路由(AQFE)算法是近年来被提出的一种基于Q学习获得最优递交延迟的逐跳Q路由方法；它具有前期学习包数要求低、状态空间小以及动作空间较小等特点，广泛应用于无线自组织网络中。目前，在实际应用中发现，Q路由普遍存在的下列问题在AQFE及AQFE-M中依然显著：1.训练前期Q值有较长时间不可靠；2.收敛到最优解速度慢；3.参数的稳健性差，算法性能不稳定。

现有技术以上的缺陷，限制了网络中路由性能的提高，导致网络时延增加，算法收敛速度比较慢，算法性能不稳定。从而影响了基于Q学习的路由算法的应用性能。

发明内容

本发明的目的在于克服上述已有技术的不足，提出一种自适应调节范围广、路由性能稳健性更高的基于双曲正割学习率因子的Q路由方法。

本发明是一种基于双曲正割学习率因子的Q路由方法，其特征在于：包括如下步骤：

步骤1布局网络拓扑：在一块矩形平面区域内布置N个同构的无线自组织网络节点，或在m×m的矩形区域内根据动态随机游走模型布置M个移动节点，节点的通信距离为r，根据通信距离建立节点间的联接关系，形成网络拓扑；

步骤2建立网络Q值表：将网络中信源节点为o，信宿节点为d的数据包表示为P(o,d)；网络中每一节点对应于其它任一信宿节点经由某一邻居节点传输数据包时建立一个Q值变量，简称Q值，用来表示数据包经由此节点通过某一邻居节点传递到其它任一信宿节点所需的时间代价估计；将网络中当前节点x对应于信宿节点d经由邻居y的Q值表示为Q_x(d,y)，其中y为x的任一邻居节点；当前节点x遍历所有不同邻居和所有不同信宿节点的Q值，构成了当前节点的本地Q值表，所有节点的本地Q值表构成了整个网络的Q值表；Q值表中Q_x(d,y)值的大小表示当前节点x将数据包经由邻居y传递到信宿节点d的估计时间代价；