[发明专利]基于强化学习的IPv6活跃地址探测方法和装置

说明书

本申请提出了一种基于强化学习的IPv6活跃地址探测方法和装置，该方法包括：获取IPv6种子地址，并确定种子地址的多个高密度区域；通过预先训练的多臂老虎机模型对每个高密度区域进行迭代探测，包括：在每个高密度区域中生成预设数量的目标地址，并探测每个所述目标地址是否为活跃地址；确定所述预设数量的目标地址中的活跃地址数量和非活跃地址数量，并根据所述活跃地址数量和非活跃地址数量更新对应的高密度区域的期望奖励，重复执行上述步骤，以通过对每个高密度区域进行迭代探测，使种子地址的密度分布收敛到活跃地址的密度分布。该方法使种子地址的密度分布向实际的活跃地址分布移动，从而可以在网络中确定活跃地址的高密度区域，提高了探测活跃地址的效率。

技术领域

本申请涉及计算机网络技术领域，尤其涉及一种基于强化学习的IPv6活跃地址探测方法和装置。

背景技术

目前，在探测目标区域中活跃的IPv6地址时，若目标区域中有足够的种子地址，则通常可以使用基于种子地址的目标地址生成算法来探测活跃的IPv6地址。假设目标区域内的活跃地址种子采样分布均匀，则种子地址的密度分布与该区域下实际活跃地址的密度分布一致，目标区域的种子地址密度越高，探测到活动地址的概率就越高。因此，我们期望寻找种子地址的高密度区域，并在高密度区域内进行地址探测，从而达到探测出大量活跃地址的目的。

然而，由于种子地址的采样偏差等因素的影响，种子地址的密度分布可能与目标区域下实际的活跃地址的密度分布不一致，导致相关技术中的地址探测方法会在很多实际活跃地址的密度较低的区域进行地址探测，降低了探测效率，浪费了探测资源。

发明内容

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本申请的第一个目的在于提出一种基于强化学习的IPv6活跃地址探测方法，该方法在每次迭代探测中都根据活动地址的奖励更新种子地址的密度分布，使种子地址的密度分布向实际的活跃地址分布移动，从而在真实网络中确定活跃地址的高密度区域，并在该高密度区域中进行地址探测，从而提高了探测活跃地址的效率，节约了探测资源。

本发明的第二个目的在于提出一种基于强化学习的IPv6活跃地址探测装置。

本发明的第三个目的在于提出一种非临时性计算机可读存储介质。

为达上述目的，本发明第一方面实施例提出了一种基于强化学习的IPv6活跃地址探测方法，包括以下步骤：

S1：获取IPv6种子地址，并确定所述种子地址的多个高密度区域；

S2：通过预先训练的多臂老虎机模型对每个所述高密度区域进行探测，包括：在每个所述高密度区域中生成预设数量的目标地址，并探测每个所述目标地址是否为活跃地址；

S3：确定所述预设数量的目标地址中的活跃地址数量和非活跃地址数量，并根据所述活跃地址数量和非活跃地址数量更新对应的高密度区域的期望奖励；

S4：重复执行步骤S2和步骤S3，以通过对每个所述高密度区域进行迭代探测，使所述种子地址的密度分布收敛到活跃地址的密度分布。

可选地，在本申请的一个实施例中，通过密度空间树确定所述种子地址的多个高密度区域，其中，所述密度空间树的根节点表示活跃地址空间，所述密度空间树的叶节点表示所述种子地址的高密度区域，在步骤S4之后，还包括：合并所述密度空间树的叶节点至对应的父节点。

可选地，在本申请的一个实施例中，合并所述密度空间树的叶节点至对应的父节点，包括：对叶节点进行探测地址合并、奖励合并和空间合并，其中，通过以下公式进行所述空间合并：

其中，f.var_space是父节点的变量空间，x_i.var_space是任一叶节点的变量空间，j是所述父节点对应的叶节点的数量。