[发明专利]实现全局优化AODV路由的方法、系统及介质

说明书

本发明提供了一种实现全局优化AODV路由的方法、系统及介质，包括发起节点Q表的更新过程和目的节点计算近似全局优化路由的过程；所述发起节点Q表的更新过程为：在发起节点中引入分布值函数优化Q值的更新策略，其中的权重参数由卡尔曼滤波结合高斯滤波算法通过建立轨迹预测模型计算得到，从而完成发起节点Q表的更新过程；所述目的节点计算近似全局优化路由的过程为：目的节点返回一定时间内缓存中平均Q值最大的路由给源节点。本发明提升了网络的鲁棒性和信息传输成功率，降低了网络端到端时延。

技术领域

本发明涉及AODV路由技术领域，具体地，涉及一种实现全局优化AODV路由的方法、系统及介质；尤其地，涉及一种基于强化学习和轨迹预测近似实现全局优化AODV路由的方法。

背景技术

无人机网络作为ad-hoc网络的一种，具有分布式和良好的可扩展性等特点，应用范围已经渐渐从军用领域扩展至民用领域。但是由于无人机的随机运动会造成网络拓扑的迅速变化，极易造成链路断开，如果此时仍有业务在此链路传输，则会发生丢包现象，降低了网络性能。因此，如果路由策略可以适应网络拓扑的迅速变化，则可以提升信息传输成功率，从而提升网络性能。

AODV作为一种被动式路由协议，当节点有发送业务需求时，此节点将广播这一需求，随后其邻居节点转发这一需求，形成网络洪泛直至找到目的节点。随后目的节点会将路由信息由源节点传输至目的节点的路径反向传输回去，通知源节点这一路径，所以AODV对路由动态性适应较强且开销较少，故本发明基于AODV协议。但是，在AODV协议中返回的是跳数最少的路由，并未考虑拓扑即环境的改变，所以节点的随机运动可能会造成此路由很快失效。

强化学习是机器学习的方法之一，在强化学习中，通过智能体(agent)与环境的不断交互使学习策略收益最大化。因此，智能体可以感知周围环境的变化。Q-learning是强化学习中常用的算法之一，属于无监督学习。但是在目前已有的将Q-learning应用在AODV协议的若干算法中，节点Q值的更新策略仅仅考虑和维护其邻居Q表中最大的Q值，并未考虑其它邻居节点Q表中的Q值，会产生局部最优问题。因此，如何更好地将Q-learning应用在AODV路由策略中，成为越来越多人研究的热点。

经检索文献发现，Celimuge Wu等人在IEEE Transactions on VehicularTechnology发表的“Flexible,Portable,and Practicable Solution for Routing inVANETs:A Fuzzy Constraint Q-Learning Approach”文章中提出了一种改善AODV协议性能的方法，该方法综合考虑链路质量、可用带宽以及节点运动因素，将以上因素的影响体现在Q-learning算法更新Q值的参数中，提高了信息传输成功率，降低了端到端时延。但是，该方法所采用的Q值更新策略仅仅考虑邻居节点Q表中Q值最大的节点，并未综合考虑其它邻居节点的Q值，会产生局部最优问题。Xinge Li等人在2019IEEE InternationalConference on Communications发表的“A Multi-Agent Reinforcement LearningRouting Protocol for Underwater Opt ical Sensor Networks”文章中提出了一种基于multi-agent的Q-learning算法，从全局角度对AODV协议选取的路由进行优化。但是，该方法中的网络拓扑动态性不高，并未考虑节点间由于相对运动造成的链路不稳定问题。Tiansi Hu等人在IEEE Transactions on Mobile Computing发表的“QELAR:A Machine-Learning-Based Adaptive Rout ing Protocol for Energy-Efficient and Lifetime-Extended Underwater Sensor Networks”文章中提出一种基于Q-learning改进AODV协议的方法，该方法综合考虑了节点能量分布情况以及节点间的移动性，改善了协议的性能。但是，该方法中的Q值更新策略没有综合考虑其它邻居节点，仍会产生局部最优问题。