[发明专利]一种大数据的处理方法、系统

说明书

技术领域

本发明属于信息处理技术领域，尤其涉及一种大数据的处理方法、系统。

背景技术

批处理和实时处理是目前大数据分析中对于数据处理的两种基本方法。所谓批处理就是将作业按照它们的性质分组(或分批)，然后再成组(或成批)地提交给计算机系统，由计算机自动完成处理后再输出结果，它的目的是为了提高系统吞吐量和资源的利用率。现在的批处理系统，如分布式文件系统、并行数据库等都大大地提高了系统的资源利用率和作业吞吐量，不仅适用于存储在内存中的小数据集，同时还能够扩展到处理庞大的数据集。所谓实时处理是指实时数据通过接入层源源不断地进入实时处理系统，在数据处理层根据相应的计算任务进行计算，然后将计算结果写入到归档层，供下一个系统查询或者使用。现在的实时处理系统如S4、Storm、Puma等都具有低延迟、支持实时不间断处理等特性。基于这两种方式独立存在的开源系统不胜其数，不同的使用场景使得大数据处理分析逐渐地向两个独立地方向发展。

但是随着数据量的大规模增长，不同的服务对数据的处理要求变得复杂多样，我们在实践中发现了如下的实际需求：在对海量数据进行批处理时，需要自动获取其中某个特定的事件或者实体的实时状态；同样地，在对大数据进行实时处理时，需要自动查询某个特定事件或者实体的历史记录。在这种情况下，人们真正想要的是批处理和实时处理的结合体，既满足实时处理的需求，又获取批处理深度挖掘后的数据价值。

然而，在常见的实现方案中，大数据的批处理系统和实时处理系统为两个独立的系统。若要结合使用，实时数据经过加工处理存储到批处理系统的环节需要人工完成，人工建表和导入数据的过程不仅时间开销巨大、效率低，而且人工成本也偏高。

发明内容

本发明实施例提供了一种大数据的处理方法、系统，旨在解决现有技术提供的大数据处理方法，不仅时间开销巨大、效率低，而且人工成本也偏高的问题。

一方面，提供一种大数据的处理方法，所述方法包括：

实时处理系统解析预置的配置文件，获取异构数据源的数据结构信息；

实时处理系统发送所述异构数据源的数据结构信息至批处理系统，所述批处理系统根据所述异构数据源的数据结构信息建立元数据表；

实时处理系统接收源数据流，对所述源数据流进行实时处理；

实时处理系统写入实时处理结果至实时处理系统的数据库中；

实时处理系统发送实时处理结果至批处理系统，以由批处理系统将所述实时处理结果存储在元数据表中；

批处理系统接收批处理作业指令；

批处理系统根据所述批处理作业指令执行相应的批处理任务，并展示作业结果。

进一步地，所述批处理作业指令是实时处理系统推送至批处理系统的；或

所述批处理作业指令是客户分配给批处理系统的。

进一步地，所述实时处理系统发送实时处理结果至批处理系统，由批处理系统将所述实时处理结果存储在元数据表中包括：

实时处理系统设置定时器；

实时处理系统建立和批处理系统的套接字通信；

实时处理系统根据所述定时器设置的周期，周期性地将所述实时处理结果发送至批处理系统。

另一方面，提供一种实时处理系统，所述实时处理系统包括：

数据结构信息获取单元，用于解析预置的配置文件，获取异构数据源的数据结构信息；

数据结构信息发送单元，用于发送所述异构数据源的数据结构信息至批处理系统，以由所述批处理系统根据所述异构数据源的数据结构信息建立元数据表；

实时处理单元，用于接收源数据流，对所述源数据流进行实时处理；

第一实时结果存储单元，用于写入实时处理结果至实时处理系统的数据库中；

实时结果发送单元，用于发送实时处理结果至批处理系统，以由批处理系统先将所述实时处理结果存储在元数据表中，再根据接收到的批处理作业指令执行相应的批处理任务，并展示作业结果。

进一步地，所述实时处理系统还包括：

批处理作业指令推送单元，用于推送批处理作业指令至批处理系统。

进一步地，所述实时结果发送单元包括：

定时器设置模块，用于设置定时器；

通信建立模块，用于建立和批处理系统的套接字通信；

实时结果发送模块，用于根据所述定时器设置的周期，周期性地发送所述实时处理结果至批处理系统。

又一方面，提供一种批处理系统，所述批处理系统包括：