[发明专利]基于强化学习的IPv6活跃地址探测方法和装置

权利要求书

1.一种基于强化学习的IPv6活跃地址探测方法，其特征在于，包括以下步骤：

S1：获取IPv6种子地址，并确定所述种子地址的多个高密度区域；

S2：通过预先训练的多臂老虎机模型对每个所述高密度区域进行探测，包括：在每个所述高密度区域中生成预设数量的目标地址，并探测每个所述目标地址是否为活跃地址，通过以下公式计算所述目标地址的预设数量：

N(x_i)＝b*p(x_i)

其中，

其中，N(x_i)是任一高密度区域x_i中生成的目标地址的数量，b表示每次迭代探测消耗的预算，p(x_i)表示在所述任一高密度区域x_i中生成目标地址的概率，R_i表示任一高密度区域x_i的期望奖励，V_i表示所述任一高密度区域x_i的地址空间维度，n表示所述任一高密度区域x_i中预设的探测区域数值；

S3：确定所述预设数量的目标地址中的活跃地址数量和非活跃地址数量，并根据所述活跃地址数量和非活跃地址数量更新对应的高密度区域的期望奖励；

S4：重复执行步骤S2和步骤S3，以通过对每个所述高密度区域进行迭代探测，使所述种子地址的密度分布收敛到活跃地址的密度分布。

2.根据权利要求1所述的地址探测方法，其特征在于，通过密度空间树确定所述种子地址的多个高密度区域，其中，所述密度空间树的根节点表示活跃地址空间，所述密度空间树的叶节点表示所述种子地址的高密度区域，在步骤S4之后，还包括：

合并所述密度空间树的叶节点至对应的父节点。

3.根据权利要求2所述的地址探测方法，其特征在于，所述合并所述密度空间树的叶节点至对应的父节点，包括：对叶节点进行探测地址合并、奖励合并和空间合并，其中，通过以下公式进行所述空间合并：

其中，f.var_space是父节点的变量空间，x_i.var_space是任一叶节点的变量空间，j是所述父节点对应的叶节点的数量。

4.根据权利要求1所述的地址探测方法，通过以下公式更新对应的高密度区域的期望奖励：

其中，表示第t+1次迭代后任一高密度区域x_i的期望奖励，Beta表示Beta分布，表示第t次迭代后确定的任一高密度区域x_i的活跃地址数量，表示第t次迭代后确定的任一高密度区域x_i的非活跃地址数量，α^*表示第t+1次迭代后新产生的活跃地址的数量，β^*表示第t+1次迭代后新产生的非活动地址的数量。