[发明专利]一种自组织网络基于时延约束的Q学习分组传输方法

摘要

本发明公开了一种自组织网络基于时延约束的Q学习分组传输方法，所述自组织网络基于时延约束的Q学习分组传输方法旨在解决当无线自组织网络中的节点面临多个通往目的节点的下一跳且端到端时延参数时变情况下，满足时延约束指标的中继路径的自主学习和中继节点的动态选择问题。网络节点自主学习通往目的节点的不同路径的端到端时延参数；网络节点在面临多个通往目的节点且满足时延约束指标的下一跳时，将不同下一跳节点的端到端传输时延归一化处理后作为每一次传输时的选择概率，动态选择下一跳节点进行传输，从而降低网络的端到端传输时延。本发明采用的将时延约束与Q学习相结合的分组传输方法提升了无线自组织网络的传输性能。

主权项

1.一种自组织网络基于时延约束的Q学习分组传输方法，其特征在于，所述自组织网络基于时延约束的Q学习分组传输方法通过Q学习算法优化网络分组的传输；网络节点通过进行Q学习，在面临多个通往目的节点的下一跳时做出合理选择；所述自组织网络基于时延约束的Q学习分组传输方法包括以下步骤：步骤一：对去往目的节点的Q表进行初始化，设置时延奖励值，设置端到端时延约束指标；步骤二：根据Q表选择去往目的节点的下一跳节点，发送前向控制报文；步骤三：收到前向控制报文的下一跳节点向发送节点回复反向控制报文；步骤四：收到前向控制报文的下一跳节点若非目的节点则转发前向控制报文；步骤五：发送节点收到反向控制报文，对Q表进行更新；步骤六：间隔一段时间，重复步骤二至步骤五；所述步骤一中，任意节点的Q表初始化方法如下：Q表至少包括目的节点IP地址、下一跳节点IP地址和Q值字段；其中下一跳节点IP地址字段存放由本节点去往目的节点的下一跳节点的IP地址，Q值字段存放下一跳节点IP地址对应的Q值，初始化为0；所述步骤一中，任意节点u设置奖励值a^u→d的方法如下：当目的节点不是本节点时，a^u→d＝0，当目的节点是本节点时，a^u→d＝A_d，A_d为一正常量；所述步骤二中，任意节点u选择去往目的节点d的下一跳节点的方法如下：根据Q表中的值去往目的节点的下一跳节点的选择概率其中为节点u选择节点v作为下一跳传输至目的节点d的Q值，N^u→d为节点u去往目的节点d的所有满足时延约束指标的可选下一跳节点构成的集合；任意节点u按概率选择下一跳节点，发送前向控制报文，前向控制报文至少包含控制报文类型、发送节点IP地址、下一跳节点IP地址、目的节点IP地址、报文发送时间字段。