[发明专利]一种基于增强学习的无线体域网路由方法

说明书

技术领域

本发明涉及一种无线体域网路由方法，主要利用增强学习来解决提高无线体域网的能量效率问题，属于无线体域网、机器学习的交叉技术应用领域。

背景技术

微电子、计算机和无线通信技术的进步，推动了低功耗多功能传感器的快速发展，使其在微小体积内能够集成信息采集，数据处理，和无线通信等多种功能，无线体域网是由部署在监测人体区域内的廉价微型传感器节点组成，通过无线通信方式形成的一个多跳的自组织网络系统，其目的是协作感知，采集和处理网络覆盖人体区域中感知对象的信息，并发送给观察者。如果说因特网构成了逻辑上的信息世界，改变了人与人之间的沟通方式，那么无线体域网网络就是将逻辑上的信息世界与客观上的物理世界融合在一起，改变人类与自然界的交互方式。人们可以通过传感器网络客观的感知世界，从而极大地扩展了现有网络的功能和人类认识世界的能力。因此无线体域网在未来的应用中有着巨大的潜力。

网络的迅猛发展，对于网络的使用范围越来越宽广，而集传感器技术、微机电系统技术、无线通信技术、嵌入式计算机技术、分布式信息处理技术和无线通信技术于一体的无线传感器网络就成为当今研究的热点。无线体域网网络是一个多学科交叉的综合性科学研究领域，对于其人体网络所分布的区域内的各种身体指标和检测对象的信息能够进行实吋的监控、感知和采集，并且将这些信息先进行处理，然后通过无线方式传输给监控主机或者需要使用这些信息的医护人员。

无线体域网网络是一种自组织网络，它通过路由算法以多跳的方式传送信息。路由算法在无线体域网中发挥着重要作用，它对各节点的能耗，寿命以及质量起着决定性的作用。建立理想路由的前提是要探测到传感器网络的拓扑结构。

增强学习(Q学习)是这样的一种学习方式，它是一个通过与环境的不断交互得到反馈，从而不断试错，最终找到最优解的过程。增强学习算法分为有模型学习算法以及无模型学习算法，本人通过调研国内外文献，发现比较与无线体域网相近的无线传感网以及无线自组织网络中的路由算法。增强学习的算法一开始是根据瞬时分差算法，并将特征值设置为0改进而来的，也是只考虑一步状态。根据智能化节点所处环境的不同，在网络系统中马尔可夫决策实际上就是指智能化节点从当前的某一状态转换到下一个状态的状态转移概率和立即回报值，这些值仅取决于目前的状态以及后续动作，以前的状态对于这些参数及函数没有任何影响。动态规划算法也是基于马尔科夫决策过程的，同时也是基于模型化的，属于有模型学习折扣型的技术，动态规划法则利用值函数寻求最优解，利用相关函数即可适用迭代法。动态规划法是基于有模型的增强学习算法，系统利用动态规划法必须有特定的环境被感知到，在无线体域网中，环境是可变的，并不适用于动态规划方法。

增强学习算法是由沃特金森在1989年提出的增强学习算法，作为马尔可夫过程的一种，是马尔科夫决策过程的不同变换形式，被业内专家也称作是离策略瞬时分差学习。增强学习算法相对于其他学习算法来说是较为简单的，并且非常方便研究人员使用，原因在于增强学习函数收敛速度较快，这也使得增强学习算法成为近期研究的重点以及热点，在增强学习领域，被称作引领增强学习发展的风向标。

增强学习的实质上就是将智能化节点通过对其状态和动作这两个比较对来重新计算增强学习中所包含的值函数，并进行新的学习，在与环境的交互中，不断更新Q值表，最终找到最终最优解方法。

在增强学习算法中，系统中智能化节点都已设置完成，不断感知周围环境，首先初始化内部Q值表，智能化节点在t时刻，处于某一状态S下以特定概率选择目前为止最高的Q值表，得到关于状态、动作、奖赏值、以及概率组成的四元组，利于增强学习函数进行收敛。

综上所述，Q值的更新根据不断的迭代学习才可以获得Q值的最优解，那么只要无线体域网中的智能化节点达到了系统所要求的目标状态，可以认为第一次学习结束，即将进入第二次学习状态，这样周而复始的迭代，使得无线体域网智能化节点不断地感知周围环境进行学习，不断循环整个学习过程，直到取得最优Q值解，完成整个的增强学习过程。