[发明专利]一种爬虫系统的URL爬取方法、装置、介质及电子设备

权利要求书

1.一种爬虫系统的URL爬取方法，其特征在于，所述方法包括：

获取爬虫系统的目标网页；

采用部署价值评估模型的爬虫系统，对所述目标网页中的锚文本和锚文本对应的URL进行网页价值的估计；所述价值评估模型是基于训练网页的锚文本和锚文本对应的URL的价值函数进行训练得到的；

根据价值估计结果进行爬取顺序的排序，然后根据URL的顺序进行爬取操作，并在满足爬取终止条件时，终止所述URL爬取操作，得到网页集合；

其中，由锚文本a和网页的URLu到网页价值y的映射关系f，关系式如下：

y＝f(u,a)；

映射关系f是基于深度神经网络架构的模型来学习得到的；

其中，所述价值评估模型的训练过程包括：

获取针对训练网页爬取的URL，并对所述爬取的URL按照预设规则，进行价值标签的标注；

将带有价值标签的URL分为训练集、验证集和测试集；

将所述训练集中的带有价值标签的URL输入至预先构建的价值评估模型，进行价值评估模型的训练；

使用验证集对所述价值评估模型的参数进行调整，以及若调整后的价值评估模型通过测试集测试收敛，则确定价值评估模型训练完成；

其中，获取针对训练网页爬取的URL，并对所述爬取的URL按照预设规则，进行价值标签的标注，包括：

获取针对训练网页爬取的URL，得到URL库；

从所述URL库中，按照预设价值评价规则确定高价值、中价值以及低价值，得到预设数量比例的高价值URL、中价值URL以及低价值URL；

将锚文本和与锚文本对应的URL和价值标签组合形成训练数据集；

对所述训练数据集进行分组，得到训练集、验证集和测试集；

其中，从所述URL库中，按照预设价值评价规则确定高价值、中价值以及低价值，得到预设数量比例的高价值URL、中价值URL以及低价值URL，包括：

根据高价值URL和中价值URL所对应的URL规则，从所述URL库中检索出全部的高价值URL和中价值URL，并标注其对应的价值标签；

将所述URL库中未标注价值标签的URL，按照高价值URL和中价值URL的数量，标注低价值URL；

其中，将锚文本和与锚文本对应的URL和价值标签组合形成训练数据集，包括：

基于高价值URL、中价值URL、低价值URL及各URL的价值标签和锚文本构建成训练数据集。

2.根据权利要求1所述的方法，其特征在于，在进行价值评估模型的训练之前，所述方法还包括：

构建锚文本和锚文本对应的URL与网页价值的映射关系。

3.根据权利要求1所述的方法，其特征在于，所述预先构建的价值评估模型，包括：

锚文本向量转换单元，用于将锚文本转换为锚文本向量表示；

URL向量转换单元，用于将锚文本对应的URL转换为URL向量表示；

前馈神经网络，用于构建所述锚文本向量表示与所述URL向量表示与网页价值的映射关系；

逻辑回归函数，用于将分类结果映射到特定区间。

4.根据权利要求3所述的方法，其特征在于，所述锚文本向量转换单元包括词嵌入和长短期记忆网络；所述URL向量转换单元包括卷积神经网络和长短期记忆网络。

5.根据权利要求1所述的方法，其特征在于，针对训练网页爬取的URL的爬取速率按照如下公式确定：

其中，v为爬取速率，π为IP地址的数量，δ为发起网络请求的时间间隔。