[发明专利]一种定向自组织网络的邻居发现方法

说明书

本发明涉及一种定向自组织网络的邻居发现方法，属于定向自组织网络技术领域。本方法使用UCB策略选择动作，使节点进行适当的探索，不会陷入次优策略或者出现邻居发现过程不收敛的情况。节点获得的回报与节点是否观察到碰撞有关，即考虑当前时隙邻居发现结果对之后时隙邻居发现的影响，加快邻居发现过程，减少邻居发现延迟。通过利用迭代估计值函数，无需知道定向自组织网络的环境模型，同时，在网络中节点独立使用Q‑Learning学习算法实现自适应邻居发现，节点间互不干扰，独立决策，简化了邻居发现问题。

技术领域

本发明涉及一种定向自组织网络的邻居发现方法，用于定向自组织网络中节点自适应发现邻居节点的过程，属于定向自组织网络技术领域。

背景技术

在定向自组织网络中，由于定向天线的能量集中在一个方向，对其他方向的干扰较少，使用定向天线，能够提高空间复用率，但同时增加了邻居发现的难度。配备定向天线的两个邻居节点发现彼此，需要满足两个条件：一是定向天线波束要互相对准，二是其中一个节点处于发送模式，另一个节点处于接收模式。由于定向天线的波束宽度较窄，想要满足这两个条件较为困难。

现有的关于定向自组织网络的邻居发现方法包括完全随机的邻居发现方法和基于扫描的邻居发现方法等。

其中，完全随机的邻居发现方法是在邻居发现过程中，节点随机选择收发模式以及波束方向。

基于扫描的邻居发现方法分为随机扫描方法以及确定扫描方法。在随机扫描方法中，节点随机选择收发模式，根据确定的波束扫描顺序进行邻居发现。确定扫描方法是在执行邻居发现过程之前就确定了节点的发送/接收模式以及波束扫描顺序。

上述方法主要存在以下问题：

邻居发现延迟较高，且未考虑之前邻居发现结果对当前时刻邻居发现的影响。若节点之前在某个波束内观察到碰撞，则意味着该波束内有多个邻居节点，当前时刻应该增加选择该波束的概率；当节点在某个波束内成功发现邻居节点或时隙空闲，则应该增加探索其他波束方向的概率，加快邻居发现过程。

发明内容

本发明的目的是为了克服现有技术的不足，创造性地提出一种新的定向自组织网络的邻居发现方法。节点根据之前邻居发现的结果，使用Q-Learning学习算法自适应的发现邻居，从而加快邻居发现过程、减少邻居发现延迟。

本发明的创新点在于：由于定向自组织网络是分布式网络,网络中节点相互独立，因此，网络中节点各自使用Q-Learning学习算法实现自适应邻居发现，目标是找到最优策略，实现较低的邻居发现延迟。使用值函数对策略进行评估，找到最优策略等同于找到最优值函数，由于定向自组织网络环境复杂，很难建模，因此使用Q-Learning学习算法迭代估计值函数，最终收敛至最优值函数，从而得到最优策略，不需要回报和状态转移概率等关于环境的先验知识。

本发明目的是通过下述技术方案实现的。

一种定向自组织网络的邻居发现方法，包括以下步骤：

步骤1：定义相关集合。

定义网络中每一个节点的状态集合S：

S＝{T,R} (1)

其中，所述的节点状态为节点的工作模式，由于网络中节点使用半双工方式通信，因此，在某一时刻，节点只能处于发送模式或者接收模式中的一种，T表示发送模式，R表示接收模式。

定义网络中每一个节点的动作集合A：

A＝{1,2,3,…,k} (2)

其中，所述动作为节点在时隙t需要执行的动作，为节点配置的波束切换定向天线的波束方向。波束切换定向天线包括k个预定义的波束方向，因此节点在时隙t能够选择的动作数为k。