[发明专利]一种数据处理方法及数据处理平台

权利要求书

1.一种数据处理方法，其特征在于，所述方法包括：

通过数据处理平台从数据库中采集至少一个元数据和所述至少一个元数据下的数据，所述元数据用于指示所述数据库中对应字段的属性信息；

根据所述元数据指示的对应字段的属性信息，确定所述元数据在数据仓库中所属层次以及在所属层次下的所属分类，所述数据处理平台以数据仓库的形式存储数据，所述数据仓库基于所述数据处理平台预先设置的数据划分规则划分成多个层次，且每个层次划分有多个分类，每个分类下对应一个数据库表，所述数据库表用于存储一个元数据下的数据；

将所述至少一个元数据下的数据的格式转换为所述数据处理平台预先设定的格式，并将转换格式后的数据存储到所确定的所属层次下的所属分类下的数据库表中；

基于所述数据处理平台预先设定的数据监控规则，对至少一个元数据下的数据进行质量校验，其中，所述数据监控规则包括完整性监控规则、准确性监控规则、有效性监控规则、重复性监控规则、及时性监控规则以及分布性监控规则。

2.根据权利要求1所述的方法，其特征在于，所述基于所述数据处理平台预先设定的数据监控规则，对至少一个元数据下的数据进行质量校验，至少包括：

基于所述数据处理平台预先设定的完整性监控规则，对所述至少一个元数据下的数据进行完整性校验；

基于所述数据处理平台预先设定的准确性监控规则，对所述至少一个元数据下的数据进行准确性校验；

基于所述数据处理平台预先设定的有效性监控规则，对所述至少一个元数据下的数据进行有效性校验；

基于所述数据处理平台预先设定的重复性监控规则，对所述至少一个元数据下的数据进行重复性校验；

基于所述数据处理平台预先设定的及时性监控规则，对所述至少一个元数据下的数据进行及时性校验；

基于所述数据处理平台预先设定的分布性监控规则，对所述至少一个元数据下的数据进行分布性校验。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：当对至少一个元数据下的数据进行质量校验的校验结果指示数据质量超出所述数据处理平台的预设质量范围时，输出告警信息。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：对所述至少一个元数据进行分类汇总，得到记录相同元数据的元数据表。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：根据元数据的用途确定元数据的对象类型，并将不同对象类型的元数据的属性和不同对象类型的元数据的行为设置为配置表中的配置项。

6.一种数据处理平台，其特征在于，所述平台包括：

采集单元，用于从数据库中采集至少一个元数据和所述至少一个元数据下的数据，其中元数据用于指示数据库中对应字段的属性信息，数据处理平台以数据仓库的形式存储采集到的数据，所述数据仓库基于所述数据处理平台预先设置的数据划分规则划分成多个层次，且每个层次划分有多个分类，每个分类下对应一个数据库表，所述数据库表用于存储一个元数据下的数据；

确定单元，用于根据所述元数据指示的对应字段的属性信息，确定元数据在所述数据仓库中的所属层次以及在所属层次下的所属分类；

转换单元，用于将所述至少一个元数据下的数据的格式转换为所述数据处理平台预先设定的格式；

存储单元，用于将转换格式后的数据存储到所确定的所属层次下的所属分类下的数据库表中；

校验单元，用于基于所述数据处理平台预先设定的数据监控规则，对所述至少一个元数据下的数据进行质量校验，其中，所述数据监控规则包括完整性监控规则、准确性监控规则、有效性监控规则、重复性监控规则、及时性监控规则以及分布性监控规则。