[发明专利]数据采集系统和方法

权利要求书

1.一种数据采集系统，其特征在于，包括：爬虫管理模块，采集集群模块和数据落地模块；

所述爬虫管理模块中部署有多个爬虫线程，不同爬虫线程对应的数据采集方式不同；

所述爬虫管理模块用于：基于调度机制，控制相应爬虫线程通过所述采集集群模块在网页中采集数据，并基于滤重机制对采集到的数据进行处理，得到有效数据；

所述数据落地模块用于获取所述有效数据，并将所述有效数据按照预先确定的落地路径写入相应的内存中。

2.根据权利要求1所述的系统，其特征在于，所述爬虫管理模块包括调度单元，所述调度单元用于：

控制相应爬虫线程创建对应的采集任务，并将所述采集任务发送至所述采集集群模块，以使所述采集集群模块根据所述采集任务采集相应的网站中的列表页和内容页；

解析所述列表页和内容页，得到衍生任务或写入文件，所述衍生任务包括列表页任务和内容页任务。

3.根据权利要求2所述的系统，其特征在于，所述爬虫管理模块还包括滤重单元，所述滤重单元用于：

根据每个列表页和内容页对应的统一资源定位符URL的哈希值，对所述列表页和内容页进行滤重。

4.根据权利要求3所述的系统，其特征在于，所述滤重单元还用于：

根据预先设定的滤重时间点，对所述列表页和内容页进行滤重操作。

5.根据权利要求3所述的系统，其特征在于，所述滤重单元还用于：

根据预先设定的有效时间范围，对所述有效时间范围内的列表页和内容页进行滤重操作。

6.根据权利要求1-5任一项所述的系统，其特征在于，所述爬虫管理模块还包括检查单元，所述检查单元用于：

对所述写入文件中包含的各个字段进行检查，将符合预设条件的字段作为有效数据。

7.根据权利要求6所述的系统，其特征在于，所述数据落地模块具体用于：

获取所述多个爬虫线程发送的有效数据，每个爬虫线程中包含数据落地路径信息；

根据所述数据落路径信息，将每个爬虫线程发送的有效数据写入相应的数据落路径信息对应的内存中。

8.一种数据采集方法，其特征在于，包括：

爬虫管理模块基于调度机制控制多个爬虫线程通过所述采集集群模块在网页中采集数据，所述多个爬虫线程是预先部署在所述爬虫管理模块中的，且不同爬虫线程对应的数据采集方式不同；

爬虫管理模块基于滤重机制对采集到的数据进行处理，得到有效数据；

数据落地模模块将所述有效数据按照预先确定的落地路径写入相应的内存中。

9.一种计算机设备，其特征在于，包括：至少一个处理器和存储器；

所述存储器存储计算机执行指令；

所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求8所述的数据采集方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求8所述的数据采集方法。