[发明专利]一种基于流式实时分布式大数据的数据采集方法及系统

摘要

本发明公开了一种基于流式实时分布式大数据的数据采集方法及系统，主要是采用分布式云集群的方式来处理数据采集，提高数据采集的处理性能和提供一定的可扩展性；构建分区关联的任务队列，不需要首先完成数据累计和落地，实时检测业务数据的变化，采用内存模型来高效存储增量收集的数据，减少本地临时文件保存时所占的空间，避免数据堆积和丢失，同时在基于内存模型的基础上，将数据块进行流化处理，直接在内存中对数据流进行并行处理并实时更新到分析数据集。本发明充分发挥了云集群的高效处理性能，同时利用基于内存的高效存储模型完成数据的收集和归类操作，为后续的实时数据分析提供数据基础，保证了实时数据采集可得到实时的反馈分析结果。

主权项

一种基于流式实时分布式大数据的数据采集方法，其特征在于：首先，多种客户端通过访问Web服务，产生新的业务数据，将需要进行采集的数据类型按照需求Type进行数据源分类；然后分配多个执行线程，并在分布式云集群服务器上并行执行数据汇集任务，以任务队列的形式，动态收集来自多种客户端的不同类型的业务数据，对不同类型的业务数据进行分类汇集，实现动态实时更新；云集群服务器划分为一台主服务器和多台子服务器，将每台子服务器定义为代理Agent，按照设定的分区规则，对子服务器进行分区划分，使一个类型对应多个分区，在逻辑上同一类型的数据处于同一分区，在物理上则是处于不同的子服务器中，其中，一个任务队列能够关联多个同源或异源分区，从而更好地实现负载均衡化；当子服务器完成各自的汇集任务时，按照流式处理的方式，以微批量处理时间为标准，将数据分成多段的数据流，每段数据流都基于内存进行缓存，主服务器采用内存处理方式将多段数据流进行数据并行处理，按照业务数据类型进行数据归类处理，并将之存储到持久化的原始数据集当中。