[发明专利]网页内容的获取方法、终端设备及可读存储介质

权利要求书

1.一种网页内容的获取方法，其特征在于，所述网页内容的获取方法包括：

绑定至少两个IP地址；

从网页地址队列中获取目标网页地址，其中，所述网页地址队列中存放的待爬取网页地址的数量小于或等于绑定的所述IP地址的数量；

在绑定的所述IP地址中获取所述目标网页地址对应的目标IP地址；

通过所述目标IP地址爬取所述目标网页地址对应的网页内容。

2.如权利要求1所述的网页内容的获取方法，其特征在于，绑定的所述IP地址为在同一子网下的IPv6地址。

3.如权利要求1所述的网页内容的获取方法，其特征在于，所述通过所述目标IP地址爬取所述目标网页地址对应的网页内容的步骤之前，还包括：

获取浏览器测试框架Selenium；

所述通过所述目标IP地址爬取所述目标网页地址对应的网页内容的步骤包括：

通过所述Selenium以及所述目标IP地址爬取所述目标网页地址对应的网页内容。

4.如权利要求1所述的网页内容的获取方法，其特征在于，所述通过所述目标IP地址爬取所述目标网页地址对应的网页内容的步骤之后，还包括：

获取所述网页内容的上下文特征以及空间特征；

生成所述上下文特征对应的特征向量；

生成所述空间特征对应的邻接矩阵；

将所述特征向量以及所述邻接矩阵输入目标图神经网络模型，以确定所述目标图神经网络模型的输出值；

根据所述输出值确定当前爬取动作的目标休眠时长。

5.如权利要求4所述的网页内容的获取方法，其特征在于，所述根据所述输出值确定当前爬取动作的目标休眠时长的步骤包括：

根据所述输出值确定当前爬取动作的休眠时长的修正值；

获取预设休眠时长；

采用所述修正值修正所述预设休眠时长得到所述目标休眠时长。

6.如权利要求4所述的网页内容的获取方法，其特征在于，所述绑定至少两个IP地址的步骤之前，还包括：

获取样本数据集，其中，所述样本数据集包括训练集以及测试集；

采用所述训练集训练预设图神经网络模型；

采用所述测试集测试训练后的所述预设图神经网络模型，以确定训练后的所述预设图神经网络模型的输出值；

在训练后的所述预设图神经网络模型的输出值处于预设范围时，将训练后的所述预设图神经网络模型确定为所述目标图神经网络模型。

7.如权利要求6所述的网页内容的获取方法，其特征在于，所述获取样本数据集的步骤包括：

获取已标注的网页内容的上下文特征以及空间特征；

根据已标注的所述网页内容的上下文特征以及空间特征确定所述样本数据集。

8.如权利要求1所述的网页内容的获取方法，其特征在于，所述从网页地址队列中获取目标网页地址的步骤之前，还包括：

初始化网页地址队列；

将所述待爬取网页地址添加至所述网页地址队列。

9.一种终端设备，其特征在于，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的网页内容的获取程序，所述网页内容的获取程序被所述处理器执行时实现如权利要求1-8中任一项所述的网页内容的获取方法的步骤。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储有网页内容的获取程序，所述网页内容的获取程序被处理器执行时实现如权利要求1-8中任一项所述的网页内容的获取方法的步骤。