[发明专利]一种网站数据爬取方法及装置

说明书

本发明提供了一种网站数据爬取方法及装置。该方法包括：将待爬取的网站数据进行标准化处理，待爬取的网站数据包括多个统一资源定位符URL，获取各个统一资源定位符URL的正则表达式；根据各个统一资源定位符URL的正则表达式获取各个统一资源定位符URL的权重值，获取待爬取的统一资源定位符URL的正则表达式权重关系表；根据正则表达式权重关系表获取目标待爬取的网站数据，对目标待爬取的网站数据进行爬取。本发明降低了待爬取的统一资源定位符URL的数量，提高了爬取效率，同时提高了爬取的准确性。

技术领域

本发明涉及计算机技术领域，具体涉及一种网站数据爬取方法及装置。

背景技术

随着互联网的快速发展，它已经变成了世界上规模最大的公共数据源，而且其规模还正在不停的增长着。从其中包含的内容看，互联网上存在众多的通过超链接方式链接在一起的网页信息。

随着搜索引擎的流行，网络爬虫已经成为了很普及的网络技术。但面对不断增长的海量信息，如何能够及时有效、更精准的爬取尽可能多有价值的网络资源，成为了各大搜索引擎公司一直致力解决的问题。

现有的网站数据爬取方法缺乏有效的内容预分析和过滤，爬取的无关主题网页过多，成为限制爬虫效率的瓶颈。由于待爬取的网站存在较多的外链接、广告宣传、活动等其他非重要的信息，这些非重要信息很容易使爬虫陷入其中，降低了爬取的效率和准确性。

发明内容

本发明实施例提供一种网站数据爬取方法及装置，用于解决现有的网站数据爬取方法效率和准确性低的问题。

本发明实施例提供了一种网站数据爬取方法，包括:

根据预设的规则对待爬取的网站数据进行处理，所述待爬取的网站数据包括多个统一资源定位符URL，获取各个统一资源定位符URL的正则表达式；

根据所述各个统一资源定位符URL的正则表达式获取各个统一资源定位符URL的权重值，获取待爬取的统一资源定位符URL的正则表达式权重关系表；

根据所述正则表达式权重关系表获取目标待爬取的网站数据，对所述目标待爬取的网站数据进行爬取。

可选地，所述方法还包括：

将预先保存的统一资源定位符URL的正则表达式权重关系表与所述待爬取的统一资源定位符URL的正则表达式权重关系表进行合并；

根据合并后的正则表达式权重关系表更新所述预先保存的统一资源定位符URL的正则表达式权重关系表‘

相应地，所述根据所述正则表达式权重关系表获取目标待爬取的网站数据包括：

根据合并后的正则表达式权重关系表获取目标待爬取的网站数据。

可选地，所述根据所述各个统一资源定位符URL的正则表达式获取各个统一资源定位符URL的权重值，包括：

将具有相同统一资源定位符URL的正则表达式的统一资源定位符URL进行合并；

根据具有同一统一资源定位符URL的正则表达式的统一资源定位符URL的数量获取各个统一资源定位符URL的权重值。

可选地，所述根据预设的规则对待爬取的网站数据进行处理包括：

用通配符替换各个统一资源定位符URL中符合预设规则的字符串。

可选地，所述根据所述正则表达式权重关系表获取目标待爬取的网站数据，包括：

将所述正则表达式权重关系表按照权重值进行降序排列，选取降序排列后的正则表达式权重关系表中权重值排在前面预设位数的目标正则表达式；

获取各个目标正则表达式对应的目标待爬取的网站数据。