[发明专利]一种基于马尔科夫决策过程模型的机会路由协议设计方法

说明书

本发明公开了一种基于马尔科夫决策过程模型的机会路由协议，首先评估环境链路质量，评估包接收率：采集相同RSSI值下的包接收率数据以及不同通信距离下的LQI均值和包接收率数据建立样本空间，对LQI均值和包接受率数据进行曲线族回归拟合，得出包接收率的估算公式；播撒无线传感器节点，组建无线传感器网络；传感器节点周期性广播和接收探测包，建立邻居信息表；传感器节点建立候选节点集；有效数据包所在节点广播数据包，接收到数据包的候选节点按值迭代公式重新计算节点对应状态值，数据包发送方选取回传对应状态值最大的节点作为下一跳转发节点。本发明使无线传感器网络能量使用优化均衡。

技术领域

本发明属于机器学习技术领域，特别是一种基于马尔科夫决策过程模型的机会路由协议设计方法。

背景技术

无线传感器网络是众多传感器节点以多跳自组织的方式组成的网络，应用前景十分广阔。在有关无线传感网的大量研究工作中，路由协议的研究一直是重点内容，合理的路由设计可以有效提升网络性能。由于传感器节点多随机播撒在无人区域，很难进行电池的更换，如何节省节点能量的消耗、均衡网络能量的使用便成为了不可避免的问题。

传统的无线传感网路由协议在数据开始传输前选择一个或多个优化的固定路径，数据包沿着预先设定的固定路径进行传输。不同于传统路由协议，机会路由中每一个接收到数据包的节点都有可能作为中继节点，源节点到目的节点间的路由路径并不固定。网络中各节点通过周期性发送和接收探测包获取邻居节点信息与网络参数，并选取合适的邻居节点作为候选节点组成候选节点集(CRS)。在转发过程中，节点从成功接收到数据包的候选节点中选择最优的下一跳转发节点。不断重复这一过程，直到数据包被转发至目的节点。

传统路由协议的缺点在于路由路径固定，不能很好地适应网络环境的变化，网络链路质量、节点剩余能量、节点位置等因素的变化都会对网络性能造成较大影响。如果某次数据传输过程中，发送方向下一跳节点的数据传输失败，发送方将重传数据包直至下一跳节点成功接收，而不是利用其他接收到数据包的节点进行转发，造成了网络资源的浪费。而机会路由的缺点在于，数据包逐跳地选择转发节点，无网络的全局信息，所以只能依赖邻居节点和目的节点位置信息进行路由决策，保证将数据包不断向着目的节点转发。在这种情况下，若网络中传感器节点定位存在偏差或节点位置发生未知变动，路由协议性能将受严重影响。除位置信息误差影响外，机会路由协议只考虑邻居节点本身的参数，寻求的只是单步最优解，无法实现全局最优。以上问题限制了机会路由协议性能的进一步提升，如何克服对位置信息的依赖，从全局的角度选择最佳节点进行数据包的转发是一大难题。

发明内容

本发明的目的在于提供一种基于马尔科夫决策过程模型的机会路由协议，以解决现有技术中依赖节点位置信息且无法实现全局最优解，导致路由协议性能较差的问题；本发明通过强化学习的马尔科夫决策过程实现机会路由协议设计，使无线传感器网络能量使用优化均衡，达到延长网络生存周期的目的。

实现本发明目的的技术解决方案为：

一种基于马尔科夫决策过程模型的机会路由协议，包括以下步骤：

步骤1、评估环境链路质量，评估包接收率：

采集相同RSSI值下的包接收率数据以及不同通信距离下的LQI均值和包接收率数据建立样本空间，对LQI均值和包接受率数据进行曲线族回归拟合，得出包接收率的估算公式；

步骤2、播撒无线传感器节点，组建无线传感器网络：无线传感器网络包含一个sink节点，负责收集区域内普通节点采集的数据并上传到网络；

步骤3、传感器节点周期性广播和接收探测包，建立邻居信息表；

步骤4、传感器节点建立候选节点集；

步骤5、用马尔科夫决策过程求解机会路由中转发节点选择问题：有效数据包所在节点广播数据包，接收到数据包的候选节点按值迭代公式重新计算节点对应状态值，数据包发送方选取回传对应状态值最大的节点作为下一跳转发节点。