[发明专利]基于HDFS不同数据源的数据处理方法

权利要求书

1.一种基于HDFS不同数据源的数据处理方法，其特征在于，该方法是在大数据集群的节点内开发、部署应对不同数据源的引擎，将不同数据源接入不同节点，分别执行引擎对数据进行数据处理操作，并与关系型数据库的数据汇总，将汇总后的数据后续处理后统一输出，实现在同一大数据集群中处理不同类型的数据的需求。

2.根据权利要求1所述的基于HDFS不同数据源的数据处理方法，其特征在于，在大数据集群的节点内开发、部署应对不同数据源的引擎时，引入Query语句，用于查询大数据集群中的数据。

3.根据权利要求1或2所述的基于HDFS不同数据源的数据处理方法，其特征在于，所述大数据集群中单个节点的数据处理过程具体如下：

(1)、执行数据处理引擎；

(2)、获取计算机可执行程序；

(3)、执行计算机可执行程序；

(4)、从外部数据源获取；

(5)、存储获取到的数据；

(6)、分别对不同数据源的数据上运行数据处理操作。

4.根据权利要求3所述的基于HDFS不同数据源的数据处理方法，其特征在于，所述关系型数据库包括RDBMS和RDMS。

5.根据权利要求4所述的基于HDFS不同数据源的数据处理方法，其特征在于，RDBMS的数据流流向具体如下：

①、对关系型数据库进行广播操作；

②、将广播后的关系型数据库与大数据集群进行合并操作；

③、将合并操作后的关系型数据库与大数据集群进行汇总操作；

④、将汇总操作后的数据流流向其余数据处理系统。

6.根据权利要求5所述的基于HDFS不同数据源的数据处理方法，其特征在于，所述合并操作结合了两种类型的数据，一种类型的数据包含在一个数据源汇总，另一种类型的数据包含在另一个数据源中。

7.根据权利要求6所述的基于HDFS不同数据源的数据处理方法，其特征在于，RDMS的数据流流向具体如下：

①、将大数据集群通过过滤器进行过滤处理；

②、将关系型数据库进行分区处理；

③、将过滤处理后的大数据集群和分区处理后的关系型数据库进行叠加操作；

④、将叠加操作后的数据进行汇总操作；

⑤、将汇总操作后的数据流流向其余数据处理系统。

8.根据权利要求7所述的基于HDFS不同数据源的数据处理方法，其特征在于，汇总操作后的数据进入数据处理子系统中。