[发明专利]一种爬虫系统的URL爬取方法、装置、介质及电子设备

说明书

本发明实施例公开了一种爬虫系统的URL爬取方法、装置、介质及电子设备。该方法包括：获取爬虫系统的目标网页；采用部署价值评估模型的爬虫系统，对所述目标网页中的锚文本和锚文本对应的URL进行价值估计；所述价值评估模型是基于训练网页的锚文本和锚文本对应的URL的价值函数进行训练得到的；根据价值估计结果进行爬取顺序的排序，然后根据URL的顺序进行爬取操作，并在满足爬取终止条件时，终止所述URL爬取操作，得到网页集合。通过采用本申请所提供的技术方案，可以针对现有的爬虫系统的爬取效率低，真正有效的网页内容较少的问题，采用基于深度学习的爬取策略，可以得到在一定的时间内将爬虫系统爬取的网页价值最大化的目的。

技术领域

本发明实施例涉及互联网技术领域，尤其涉及一种爬虫系统的URL爬取方法、装置、介质及电子设备。

背景技术

随着科学技术的发展，各种网页应运而生。其中包括社交媒体的，新闻发布的，视频查看的，等等。而在一些情况，例如对某一网页进行资源管理或者金融信息检索，需要使用网络爬虫系统来获取该网页的所有网络地址，其中，包括广告网络地址、首页网络地址以及文字页面网络地址等等。每10秒向目标网页发起一次请求，每天仅能爬取8640个网页，但目标网页上充斥着大量用户不关心的URL，比如广告页面、客户端下载页面和其他无关页面等等，这使得用户在一天之内获取到的网页总价值较低。因此，如何能够在有限时间内爬取到价值尽量高的URL，以提高爬取网页的有效性，是目前本领域亟待解决的技术难题。

发明内容

本发明实施例提供一种爬虫系统的URL爬取方法、装置、介质及电子设备，可以针对现有的爬虫系统的爬取效率低，真正有效的网页内容较少的问题，采用基于深度学习的爬取策略，可以得到在一定的时间内将爬虫系统爬取的网页价值最大化的目的。

第一方面，本发明实施例提供了一种爬虫系统的URL爬取方法，该方法包括：

获取爬虫系统的目标网页；

采用部署价值评估模型的爬虫系统，对所述目标网页中的锚文本和锚文本对应的URL进行价值估计；所述价值评估模型是基于训练网页的锚文本和锚文本对应的URL的价值函数进行训练得到的；

根据价值估计结果进行爬取顺序的排序，然后根据URL的顺序进行爬取操作，并在满足爬取终止条件时，终止所述URL爬取操作，得到网页集合。

进一步的，所述价值评估模型的训练过程包括：

获取针对训练网页爬取的URL，并对所述爬取的URL按照预设规则，进行价值标签的标注；

将带有价值标签的URL分为训练集、验证集和测试集；

将所述训练集中的带有价值标签的URL输入至预先构建的价值评估模型，进行价值评估模型的训练；

使用验证集对所述价值评估模型的参数进行调整，以及若调整后的价值评估模型通过测试集测试收敛，则确定价值评估模型训练完成。

进一步的，获取针对训练网页爬取的URL，并对所述爬取的URL按照预设规则，进行价值标签的标注，包括：

获取针对训练网页爬取的URL，得到URL库；

从所述URL库中，按照预设价值评价规则确定高价值、中价值以及低价值，得到预设数量比例的高价值URL、中价值URL以及低价值URL；

将锚文本和与锚文本对应的URL和价值标签组合形成训练数据集；

对所述训练数据及进行分组，得到训练集、验证集和测试集。

进一步的，在进行价值评估模型的训练之前，所述方法还包括：

构建锚文本和锚文本对应的URL与网页价值的映射关系。

进一步的，所述预先构建的价值评估模型，包括：