[发明专利]一种定向自组织网络的邻居发现方法

权利要求书

1.一种定向自组织网络的邻居发现方法，其特征在于，包括以下步骤：

步骤1：定义相关集合；

定义网络中每一个节点的状态集合S：

S＝{T,R} (1)

其中，所述的节点状态为节点的工作模式，在某一时刻，节点只能处于发送模式或者接收模式中的一种，T表示发送模式，R表示接收模式；

定义网络中每一个节点的动作集合A：

A＝{1,2,3,…,k} (2)

其中，所述动作为节点在时隙t需要执行的动作，为节点配置的波束切换定向天线的波束方向；波束切换定向天线包括k个预定义的波束方向，节点在时隙t能够选择的动作数为k；

步骤2：每个节点初始化各自的值函数表，初始值为0，值函数表的大小为2×k；

步骤3：每个节点选择各自的初始状态；各节点选择发送模式或接收模式的概率相同，均为p；

步骤4：每个节点基于UCB策略，从动作集合中选择在当前时隙需要执行的动作，其中，动作集合为步骤1所述的定向天线预定义的k个波束方向；

所述UCB策略为Q-Learning学习算法的行为策略，指导节点在时隙t的动作选择，在进行动作选择时，需要探索新的“状态-动作”对；使用UCB策略对非贪婪动作成为最优动作的可能性进行度量，选择最有可能成为最优动作的行为；

UCB策略指导动作选择公式如下：

其中，s_t表示在时隙t节点所处的状态，a表示节点处于状态s_t时能够选择的动作集，a_t表示从动作集a中选择的动作，c表示控制探索非贪婪动作的度；Q(s_t,a)表示动作集中每一个动作的价值所组成的集合，N_t(s_t,a)表示到时隙t为止动作集中每一个动作被选择的次数组成的集合；

步骤5：每个节点执行步骤4选择的动作，将定向天线波束切换到选择的方向；

步骤6：判断每个节点与环境交互时是否发生碰撞，若节点接收到2个以上的数据包，则认为发生了碰撞，给与奖励m₁，提高节点在之后的时隙切换到该波束的概率；若节点成功发现1个邻居或时隙空闲，应该给与惩罚m₂，鼓励节点探索其他波束方向；节点得到的回报r(s_t,α_t)由公式(4)给出：

步骤7：每一个节点随机选择下一个时隙状态s_t+1；

步骤8：根据步骤6得到的回报r(s_t,α_t)，以及步骤7选择的下一个时隙状态s_t+1，更新值函数表：

其中，Q(s_t,a_t)表示状态为s_t动作为a_t时的价值，α表示学习率，γ表示衰减因子，a′表示节点处于状态s_t+1时能够选择的动作集，r(s_t,α_t)表示节点与环境交互获得的回报，Q(s_t+1,a′)表示动作集中每一个动作的价值所组成的集合；

步骤9：判断节点是否发现所有邻居；如果定向自组织网络中所有节点都成功发现各自的全部邻居，则执行步骤10；否则，执行步骤11；

步骤10：记录邻居发现所需的时隙数，邻居发现过程结束；

步骤11：判断是否超出预定义的最大时隙数t_slot；若超出，则邻居发现过程结束；若未超出，则节点进入下一个时隙，将步骤7得到的s_t+1赋值给s_t，转到步骤4。