[发明专利]一种基于Hadoop的数据治理系统

权利要求书

1.一种基于Hadoop的数据治理系统，其特征在于：该系统包括数据源、数据治理规则配置模块、数据治理规则执行模块、数据交付模块、数据治理评估报告模块、日志模块和权限管理模块，数据源通过查询过滤条件，配置数据挖掘所需的数据；数据治理规则配置模块选择数据源中的数据进入数据挖掘计算；数据治理规则执行模块针对数据处理规则，对输入数据进行治理；数据交付模块使经过治理的数据与数据挖掘模型的输入类型匹配；数据治理评估报告模块给出应用数据治理规则后，与原始数据的差异性；日志模块用于记录数据挖掘过程产生的日志数据；权限管理模块用于控制用户的权限。

2.根据权利要求1所述的基于Hadoop的数据治理系统，其特征在于：所述数据源为结构化数据，结构化数据通过sql查询。

3.根据权利要求1所述的基于Hadoop的数据治理系统，其特征在于：所述数据源为非结构化数据，非结构化数据通过关键字方式进行查询。

4.根据权利要求1、2或3所述的基于Hadoop的数据治理系统，其特征在于：所述数据治理规则配置模块对数据源中的数据列配置对应的数据治理规则及其参数。

5.根据权利要求4所述的基于Hadoop的数据治理系统，其特征在于：所述配置对应的数据治理规则涉及文本与数字类型、数据列表类型和bool类型。

6.根据权利要求5所述的基于Hadoop的数据治理系统，其特征在于：所述数据治理规则执行模块中，数据在不同的数据处理规则中单向流转，同一列数据需要多个数据处理规则时，按照规则定义的先后顺序执行，同一个规则需要多个数据源时，对每个数据源应用子规则，同时有一个合并的总规则。

7.根据权利要求6所述的基于Hadoop的数据治理系统，其特征在于：所述数据治理规则执行模块快中计算方式通过MapReduce或Spark执行。

8.根据权利要求7所述的基于Hadoop的数据治理系统，其特征在于：所述数据交付模块采用替换原始数据、保存为新的数据或挖掘计算后丢弃进行交付。

9.根据权利要求8所述的基于Hadoop的数据治理系统，其特征在于：所述数据治理评估报告模块给出应用数据治理规则后，与原始数据的差异性。

10.根据权利要求9所述的基于Hadoop的数据治理系统，其特征在于：所述权限管理模块的权限为可配置的。