[发明专利]一种高并发并行计算的大数据采集系统及方法

摘要

本发明公开了一种高并发并行计算的大数据采集系统，包括业务数据管理平台、调度中心、采集器、流服务和数据节点；所述业务数据管理平台包括用于根据不同内容和网站特点配置待采集任务的站点配置模块和用于存储并将待采集任务分配给分发服务器的采集规则库；所述调度中心包括至少两个用于将待采集任务划分成子任务的所述分发服务器；所述采集器用于基于预设的采集策略执行爬取所述子任务操作以进行数据采集，并将采集数据发送至流服务；所述流服务用于对采集数据进行聚合，并根据业务的标识将数据发送至相应的数据节点进行检索和存储。本发明还公开了一种高并发并行计算的大数据采集系方法，提高了大数据采集系统的采集能力和处理数据的实时性。

主权项

一种高并发并行计算的大数据采集系统，其特征在于，包括：业务数据管理平台、调度中心、采集器、流服务和数据节点；所述业务数据管理平台包括站点配置模块和采集规则库；所述调度中心包括代理服务器和至少两个分发服务器；所述数据节点模块包括至少两个数据节点；所述站点配置模块，用于根据不同内容和网站特点配置待采集任务；所述采集规则库，用于存储并将待采集任务分配给相应的所述分发服务器；所述分发服务器，用于将待采集任务进行划分成子任务，并由所述代理服务器将子任务映射到采集器；所述采集器，用于基于预设的采集策略执行爬取所述子任务的操作，以进行数据采集，并将采集数据发送至所述流服务；所述流服务，用于对采集数据进行聚合，并根据业务的标识将聚合的采集数据发送至相应的数据节点进行检索和存储。