[发明专利]一种基于MPP架构数据库的数据去重方法及装置

权利要求书

1.一种基于MPP架构数据库的数据去重方法，其特征在于，包括：

接收待去重的原始数据，并确定统计参数；其中，所述统计参数包括：统计维度以及去重指标；

确定所述原始数据中在所述统计维度下所述去重指标对应的数据，作为目标数据；

对所述目标数据的各所述去重指标进行逐一去重处理，得到若干去重子项；

聚合各所述去重子项，作为去重数据。

2.根据权利要求1所述的基于MPP架构数据库的数据去重方法，其特征在于，所述统计参数中还包括：非去重指标；

则相应地，还包括：

统计所述原始数据中在所述统计维度下所述非去重指标对应的数据，作为非去重数据；

合并所述非去重数据以及所述去重数据，作为统计结果。

3.根据权利要求2所述的基于MPP架构数据库的数据去重方法，其特征在于，所述统计所述原始数据中在所述统计维度下所述非去重指标对应的数据，作为非去重数据，包括：

调用聚合函数对所述原始数据中在所述统计维度下所述非去重指标的数据进行聚合计算，并将所述聚合计算的结果作为所述非去重数据。

4.根据权利要求1所述的基于MPP架构数据库的数据去重方法，其特征在于，所述聚合各所述去重子项，包括：按照所述统计维度聚合各所述去重子项。

5.一种基于MPP架构数据库的数据去重装置，其特征在于，包括：

数据接收单元，用于接收待去重的原始数据，并确定统计参数；其中，所述统计参数包括：统计维度以及去重指标；

目标确定单元，用于确定所述原始数据中在所述统计维度下所述去重指标对应的数据，作为目标数据；

单一去重单元，用于对所述目标数据的各所述去重指标进行逐一去重处理，得到若干去重子项；

数据聚合单元，用于聚合各所述去重子项，作为去重数据。

6.根据权利要求5所述的基于MPP架构数据库的数据去重装置，其特征在于，数据接收单元中确定所述统计参数中还包括：非去重指标；

则相应地，所述数据去重装置中还包括：

非去重统计单元，用于统计所述原始数据中在所述统计维度下所述非去重指标对应的数据，作为非去重数据；

数据合并单元，用于合并所述非去重数据以及所述去重数据，作为统计结果。

7.根据权利要求6所述的基于MPP架构数据库的数据去重装置，其特征在于，所述非去重统计单元具体为：聚合统计单元；

所述聚合统计单元，用于调用聚合函数对所述原始数据中在所述统计维度下所述非去重指标的数据进行聚合计算，并将所述聚合计算的结果作为所述非去重数据。

8.根据权利要求5所述的基于MPP架构数据库的数据去重装置，其特征在于，所述数据聚合单元具体为：维度聚合单元；所述维度聚合单元用于按照所述统计维度聚合各所述去重子项。

9.一种计算机设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至4任一项所述基于MPP架构数据库的数据去重方法的步骤。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述基于MPP架构数据库的数据去重方法的步骤。