[发明专利]一种数据统计方法、统计装置及计算机可读存储介质

权利要求书

1.一种数据统计方法，其特征在于，包括：

获取业务数据；

若所述业务数据超出预设大小，和/或所述业务数据的计算涉及到多个字段和多个维度中的至少一项，将所述业务数据按照预设字段执行分类，以得到各个主题表；

将所述各个主题表按照分析维度执行分区处理，以得到各个统计维度表；

将所述各个统计维度表中的业务数据按照预设时间段执行去重处理，得到预设时间段内的业务数据以进行存储。

2.根据权利要求1所述的数据统计方法，其特征在于，待获取的所述业务数据存储于分布式文件系统数仓中的数据明细层DWD，所述分布式文件系统数仓至少包括数据明细层DWD和数据服务层DWS；

将所述业务数据按照预设字段执行分类，以得到各个主题表，包括：

将所述数据明细层DWD中的业务数据按照预设字段执行分类，将分类后的业务数据存储至预先建立在数据服务层DWS中的各个主题表。

3.根据权利要求2所述的数据统计方法，其特征在于，所述分布式文件系统数仓还包括数据应用层ADS，所述数据统计方法还包括：

将所述预设时间段内的业务数据存储至所述数据应用层ADS。

4.根据权利要求1所述的数据统计方法，其特征在于，将所述各个主题表按照分析维度执行分区处理，以得到各个统计维度表，包括：

从所述各个主题表中筛选出待分区数据；

将所述待分区数据写入预先建立的分析维度表中；

采用与所述分析维度对应的分区字段将所述各分析维度表中的数据执行分区处理，以得到各个统计维度表。

5.根据权利要求4所述的数据统计方法，其特征在于，在将所述待分区数据写入预先建立的分析维度表中之前，所述方法还包括：

判断待分区数据的分析维度和所述待分区数据之间是否存在一对多或者多对多的关系；

若是，则预先建立与分析维度的维度数相同个数的分析维度表。

6.根据权利要求1至5中任一项所述的数据统计方法，其特征在于，在若所述业务数据超出预设大小，和/或所述业务数据的计算涉及到多个字段和多个维度中的至少一项，将所述业务数据按照预设字段执行分类，以得到各个主题表之前，所述方法还包括：

通过shell语句或sql语句查询业务数据的大小。

7.根据权利要求1所述的数据统计方法，其特征在于，所述业务数据包括业务增量数据。

8.一种数据统计装置，其特征在于，包括：

获取单元，用于获取业务数据；

分类单元，用于若所述业务数据超出预设大小，和/或所述业务数据的计算涉及到多个字段和多个维度中的至少一项，将所述业务数据按照预设字段执行分类，以得到各个主题表；

分区单元，用于将所述各个主题表按照分析维度执行分区处理，以得到各个统计维度表；

去重单元，用于将所述各个统计维度表中的业务数据按照预设时间段执行去重处理，得到预设时间段内的业务数据以进行存储。

9.一种计算机装置，包括处理器和存储器，其特征在于，所述处理器在执行存储于存储器上的计算机程序时，用于实现如权利要求1至7中任一项所述的数据统计方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，用于实现如权利要求1至7中任一项所述的数据统计方法。