[发明专利]一种数据采集系统和数据采集方法

说明书

技术领域

本发明涉及计算机技术领域，特别涉及一种数据采集系统和数据采集方法。

背景技术

大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更前的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。通过对大数据进行分析，可以获得很多智能的、深入的且有价值的信息，对于企业的发展、社会的管理具有重要意义。在对大数据进行分析之前，首先需要采集大数据，而目前一般通过网络爬虫来获取大数据。

目前，在通过网络爬虫采集数据时，在确定需要进行爬取的网页后，爬虫节点对网页上的信息进行爬取，获得网页上包括的数据。

针对目前通过网络爬虫进行数据采集的方法，通常通过单节点爬虫爬取网页上的数据，受CPU(Central Processing Unit，中央处理器)、IO(Input/Output，输入/输出)和带宽等多重因素的限制，单节点爬虫爬取数据的效率较低，导致数据采集的效率较低。

发明内容

本发明实施例提供了一种数据采集系统和数据采集方法，能够提高数据采集的效率。

第一方面，本发明实施例提供了一种数据采集系统，包括：控制节点、存储节点和至少两个爬取节点；

所述控制节点，用于根据获取到的至少一个主URL，确定至少两个待爬取URL，并将所述至少两个待爬取URL分发给所述至少两个爬取节点；

每一个所述爬取节点，用于针对接收到的每一个所述待爬取URL，采集所述待爬取URL所对应网页上的数据，并从采集到的所述数据中获取目标数据发送给所述存储节点；

所述存储节点，用于将各个所述爬取节点发送的所述目标数据存储到指定的存储空间。

可选地，

所述控制节点、所述存储节点和所述至少两个爬取节点位于同一物理主机上。

可选地，

所述控制节点、所述存储节点和所述至少两个爬取节点位于不同的物理主机上。

可选地，

所述控制节点，用于针对每一个所述主URL，根据预先设定的爬取深度对所述主URL所对应网页进行解析，获得与所述主URL之间层级数满足所述爬取深度的至少一个第一URL，通过预先定义的正则表达式从所述至少一个第一URL中筛选包括预设关键词的第二URL，对所述第二URL进行去重处理后获得所述待爬取URL。

可选地，

所述控制节点，用于根据各个所述爬取节点的性能参数，通过分布式消息传递的方式将所述至少两个待爬取URL分发给所述至少两个爬取节点。

可选地，

每一个所述爬取节点，用于针对所述控制节点分发的每一个所述待爬取URL，依次对所述待爬取URL的HTML页面进行解析，通过预先定义的正则表达式从解析出的数据中筛选包括预设关键词的数据作为所述目标数据。

可选地，

每一个所述爬取节点，对获取到的所述目标数据进行序列化处理和压缩处理，并将进行序列化处理和压缩处理后的所述目标数据发送给所述存储节点；

所述存储节点，用于针对每一个所述爬取节点发送的所述目标数据，依次对所述目标数据进行解压处理和反序列化处理，并将进行解压处理和反序列化处理后的所述目标数据存储到所述指定的存储空间。

可选地，

每一个所述爬取节点，进一步用于在采集所述待爬取URL所对应网页上的数据时，对访问请求的头文件和IP地址进行轮换，将加载所述待爬取URL所对应网页的浏览器的cookie设置为禁用状态，其中，所述访问请求为所述爬取节点对所述待爬取URL所对应网页上数据进行采集时发送的访问请求。

第二方面，本发明实施例还提供了一种数据采集方法，包括：

获取至少一个主URL；

根据所述至少一个主URL确定至少两个待爬取URL；

将所述至少两个待爬取URL分发给至少两个爬取节点；

针对每一个所述待爬取URL，通过接收到所述待爬取URL的所述爬取节点，采集所述待爬取URL所对应网页上的数据，并从采集到的所述数据中获取目标数据；

将通过各个所述爬取节点获取到的所述目标数据存储到指定的存储空间。

可选地，

所述根据所述至少一个主URL确定至少两个待爬取URL，包括：