[发明专利]一种网络数据爬取方法和装置

说明书

本发明实施例提供了一种网络数据爬取方法和装置，所述方法包括：通过网页测试工具打开浏览器，并打开待爬取数据的网站；根据预先设置的目标数据网页结构，通过所述网页测试工具模拟用户浏览所述网站，获取所述网站上目标数据标签对应的所有网页的页面信息；分别对获取到的所述页面信息进行分析，根据所述目标数据标签获取对应的目标数据。所述装置用于执行上述方法。本发明实施例通过控制浏览器对待爬取数据的网站进行浏览，并采用网页测试工具即selenium模拟用户浏览网站，可以很好的避免因网站反爬机制造成数据爬取失败的问题，提高了网络数据爬取的成功率。

技术领域

本发明实施例涉及互联网技术领域，具体涉及一种网络数据爬取方法和装置。

背景技术

随着科技的发展，互联网技术在人们的生活中使用的越来越多，人们可以利用互联网的搜索引擎浏览不同网站的数据，这就需要搜索引擎能够爬取到不同网站的数据，搜索引擎主要通过网络爬虫进行爬取数据。网络爬虫是搜索引擎抓取系统的重要组成部分，爬虫的主要目的是将互联网上的网页下载到本地形成一个或联网内容的镜像备份。

现有技术中，网络爬虫一般会驻留在服务器上，通过给定的URL(UniformResource Locator，统一资源定位符)，利用HTTP(HyperText Transfer Protocol，超文本传输协议)等标准协议读取相应文档，获取相应的数据。由于网站会通过Robots协议即网络爬虫排除标准协议(Robots Exclusion Protocol)告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。Robots协议的本质是网站和搜索引擎爬虫的沟通方式，用来指导搜索引擎更好地抓取网站内容，而不是作为搜索引擎之间互相限制和不正当竞争的工具。因此，网站可以通过建立反爬虫机制限制网络爬虫爬取网站的全部或部分数据，或导致许多正常爬取的数据爬取失败。

发明内容

针对现有技术中的缺陷，本发明实施例提供本发明实施例提供了一种网络数据爬取方法和装置。

一方面，本发明实施例提供本发明实施例提供了一种网络数据爬取方法，包括：

通过网页测试工具打开浏览器，并打开待爬取数据的网站；

根据预先设置的目标数据网页结构，通过所述网页测试工具模拟用户浏览所述网站，获取所述网站上目标数据标签对应的所有网页的页面信息；

分别对获取到的所述页面信息进行分析，根据所述目标数据标签获取对应的目标数据。

另一方面，本发明实施例提供一种网络数据爬取装置，包括：

浏览器打开单元，用于通过网页测试工具打开浏览器，并打开待爬取数据的网站；

页面信息获取单元，用于根据预先设置的目标数据网页结构，通过所述网页测试工具模拟用户浏览所述网站，获取所述网站上目标数据标签对应的所有网页的页面信息；

目标数据获取单元，用于分别对获取到的所述页面信息进行分析，根据所述目标数据标签获取对应的目标数据。

本发明实施例提供的网络数据爬取方法和装置，通过控制浏览器对待爬取数据的网站进行浏览，并采用网页测试工具即selenium模拟用户浏览网站，可以很好的避免因网站反爬机制造成数据爬取失败的问题，提高了网络数据爬取的成功率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中网络数据爬取方法流程示意图；

图2为本发明实施例中网络数据爬取装置的结构示意图；