[发明专利]一种基于马尔科夫决策过程模型的机会路由协议设计方法

权利要求书

1.一种基于马尔科夫决策过程模型的机会路由协议设计方法，其特征在于，包括以下步骤：

步骤1、评估环境链路质量，评估包接收率：

在数据采集区域内利用两个传感器节点在不同通信距离下进行多次通信实验，采集相同RSSI值下的包接收率数据以及不同通信距离下的LQI均值和包接收率数据建立样本空间；当-70dBm≤RSSI时，包接收率为100％；当-75dBm≤RSSI-70dBm时，包接收率为99％；当-80dBm≤RSSI-75dBm时，包接收率为98％；当-85dBm≤RSSI-80dBm时，包接收率为(RSSI+177)％；当RSSI-85dBm时，包接收率用LQI均值估算，对LQI均值和包接受率数据进行曲线族回归拟合，得出包接收率的估算公式；

步骤2、播撒无线传感器节点，组建无线传感器网络：无线传感器网络包含一个sink节点，负责收集区域内普通节点采集的数据并上传到网络；

步骤3、无线传感器节点周期性广播和接收探测包，建立邻居信息表；建立邻居信息表，包括邻居节点ID、邻居节点对应状态值、邻居节点睡眠/侦听占空比、邻居节点的候选节点集和邻居节点对于自身的包接收率；

步骤4、无线传感器节点建立候选节点集；建立候选节点集，具体通过无线传感器节点将其邻居节点按照对应状态值的大小进行排序，按顺序选取状态值大于或等于自身的邻居节点作为候选节点，直到自身广播的数据包被至少一个候选节点成功接收的概率大于设定值或无可选邻居节点时停止，候选节点组成候选节点集；

步骤5、用马尔科夫决策过程求解机会路由中转发节点选择问题：有效数据包所在节点广播数据包，接收到数据包的候选节点按值迭代公式重新计算节点对应状态值，数据包发送方选取回传对应状态值最大的节点作为下一跳转发节点；用马尔科夫决策过程求解机会路由中转发节点选择问题，具体包括以下步骤：

5.1利用马尔科夫决策过程模型对机会路由问题进行建模；

5.2计算状态转移概率矩阵P：根据节点间包接收率得出状态转移概率矩阵P，有效数据包从节点i转移至候选节点j_y并由j_y转发的概率(y＝1,2,…,m)可由下式计算：

其中，表示节点j_y成功接收到节点i广播数据包的概率，表示节点j_t成功接收到节点i广播数据包的概率，m表示节点i的候选节点集中共有m个候选节点；除候选节点外其余节点为j_x(x＝m+1,m+2,…,N)，N表示网络共有N个无线传感器节点；节点i计算所得的概率分别为状态转移概率矩阵P第i行第j₁、j₂、…、j_m、…、j_N列的值，每个节点计算状态转移概率矩阵P对应行的值，即可得出完整的状态转移概率矩阵P；

5.3制定行动奖赏函数：

制定行动奖赏函数R_s＝-1+f(k_E)，其中R_s表示状态s下广播数据包的行动奖赏，k_E为当前节点剩余能量与初始能量的比值，f(k_E)为关于当前节点剩余能量与初始能量的比值k_E的函数；

设计f(k_E)的表达式如下式所示：

当前节点剩余能量越少，转发数据包代价越大，行动奖赏就越小；

5.4制定行动策略：采用贪婪策略，即在状态s下采取最优行动，使迭代后状态s的状态值最大；

5.5候选节点进行对应状态值迭代并回传：

有效数据包所在节点广播数据包，接收到数据包的候选节点按动态规划的值迭代公式

重新计算自身状态值，但并不立即将此值替换原有状态值，而是将此值回传给源节点；式中，k表示第k次迭代，k+1表示第k+1次迭代，v表示状态值，s表示当前状态，即接收到数据包的候选节点对应的状态，s′表示下一时刻状态，v_k+1(s)为第k+1次迭代时状态s的值，v_k(s′)为第k次迭代时状态s′的值，a表示当前状态s下可采取的行动，A为行动集合，λ为折扣因子，R为行动奖赏，表示在状态s下采取行动a的奖赏，P为状态转移概率矩阵，表示在状态s下采取行动a后下一时刻状态变为s′的概率，可在状态转移概率矩阵P中找到对应值，max指行动策略为贪婪策略；

5.6选择下一跳转发节点：

数据包发送节点接收候选节点回传的状态值，从其中选择成功对应状态值最高的节点作为下一跳转发节点，广播此消息；

步骤6、重复步骤5的数据包转发过程，直至数据包被转发至sink节点；通过不断进行数据包转发和状态值迭代，最后求得最优路由路径。