[发明专利]一种数据采集系统和数据采集方法

权利要求书

1.一种数据采集系统，其特征在于，包括：控制节点、存储节点和至少两个爬取节点；

所述控制节点，用于根据获取到的至少一个主URL，确定至少两个待爬取URL，并将所述至少两个待爬取URL分发给所述至少两个爬取节点；

每一个所述爬取节点，用于针对接收到的每一个所述待爬取URL，采集所述待爬取URL所对应网页上的数据，并从采集到的所述数据中获取目标数据发送给所述存储节点；

所述存储节点，用于将各个所述爬取节点发送的所述目标数据存储到指定的存储空间。

2.根据权利要求1所述的数据采集系统，其特征在于，

所述控制节点、所述存储节点和所述至少两个爬取节点位于同一物理主机上；

或者，

所述控制节点、所述存储节点和所述至少两个爬取节点位于不同的物理主机上。

3.根据权利要求1所述的数据采集系统，其特征在于，

所述控制节点，用于针对每一个所述主URL，根据预先设定的爬取深度对所述主URL所对应网页进行解析，获得与所述主URL之间层级数满足所述爬取深度的至少一个第一URL，通过预先定义的正则表达式从所述至少一个第一URL中筛选包括预设关键词的第二URL，对所述第二URL进行去重处理后获得所述待爬取URL。

4.根据权利要求1所述的数据采集系统，其特征在于，

所述控制节点，用于根据各个所述爬取节点的性能参数，通过分布式消息传递的方式将所述至少两个待爬取URL分发给所述至少两个爬取节点。

5.根据权利要求1所述的数据采集系统，其特征在于，

每一个所述爬取节点，用于针对所述控制节点分发的每一个所述待爬取URL，依次对所述待爬取URL的HTML页面进行解析，通过预先定义的正则表达式从解析出的数据中筛选包括预设关键词的数据作为所述目标数据。

6.根据权利要求1所述的数据采集系统，其特征在于，

每一个所述爬取节点，对获取到的所述目标数据进行序列化处理和压缩处理，并将进行序列化处理和压缩处理后的所述目标数据发送给所述存储节点；

所述存储节点，用于针对每一个所述爬取节点发送的所述目标数据，依次对所述目标数据进行解压处理和反序列化处理，并将进行解压处理和反序列化处理后的所述目标数据存储到所述指定的存储空间。

7.根据权利要求1至6中任一所述的数据采集系统，其特征在于，

每一个所述爬取节点，进一步用于在采集所述待爬取URL所对应网页上的数据时，对访问请求的头文件和IP地址进行轮换，将加载所述待爬取URL所对应网页的浏览器的cookie设置为禁用状态，其中，所述访问请求为所述爬取节点对所述待爬取URL所对应网页上数据进行采集时发送的访问请求。

8.一种数据采集方法，其特征在于，包括：

获取至少一个主URL；

根据所述至少一个主URL确定至少两个待爬取URL；

将所述至少两个待爬取URL分发给至少两个爬取节点；

针对每一个所述待爬取URL，通过接收到所述待爬取URL的所述爬取节点，采集所述待爬取URL所对应网页上的数据，并从采集到的所述数据中获取目标数据；

将通过各个所述爬取节点获取到的所述目标数据存储到指定的存储空间。

9.根据权利要求8所述的方法，其特征在于，

所述根据所述至少一个主URL确定至少两个待爬取URL，包括：

针对每一个所述主URL，根据预先设定的爬取深度对所述主URL所对应网页进行解析，获得与所述主URL之间层级数满足所述爬取深度的至少一个第一URL，通过预先定义的正则表达式从所述至少一个第一URL中筛选包括预设关键词的第二URL，对所述第二URL进行去重处理后获得所述待爬取URL；

和/或，

所述将所述至少两个待爬取URL分发给至少两个爬取节点，包括：

根据各个所述爬取节点的性能参数，通过分布式消息传递的方式将所述至少两个待爬取URL分发给所述至少两个爬取节点；

和/或，

所述从采集到的所述数据中获取目标数据，包括：

针对每一个所述待爬取URL，依次对所述待爬取URL的HTML页面进行解析，通过预先定义的正则表达式从解析出的数据中筛选包括预设关键词的数据作为所述目标数据。

10.根据权利要求7至9中任一所述的方法，其特征在于，

所述采集所述待爬取URL所对应网页上的数据，包括：

将加载所述待爬取URL所对应网页的浏览器的cookie设置为禁用状态，通过向所述浏览器发送至少两个访问请求来对所述待爬取URL所对应网页上的数据进行采集，其中，所述至少两个访问请求的头文件和IP地址通过轮换的方式进行更新。