[发明专利]一种数据处理方法及数据处理平台

说明书

本发明提供一种数据处理方法及数据处理平台，从数据库中采集至少一个元数据，并确定元数据在数据仓库中所属层次以及在所属层次下的所属分类，这样在采集到元数据下的数据后，可以将至少一个元数据下的数据的格式转换为数据处理平台预先设定的格式，并将转换格式后的数据存储到对应的数据库表中，而数据库表对应一个元数据对应字段的属性信息，因此可根据元数据将元数据下的数据存储到对应的数据库表中，实现数据的分类存储，以有利于对每个分类下数据统一管理。并且还可以基于数据处理平台预先设定的数据监控规则，对至少一个元数据下的数据进行质量校验，以使得数据处理平台具有质量校验功能，进而实现对存量数据和增量数据的统一监控。

技术领域

本发明属于数据处理技术领域，更具体的说，尤其涉及一种数据处理方法及数据处理平台。

背景技术

数据库(Database)是按照预设的数据结构来组织、存储和管理数据的仓库，目前数据库有很多种类型，从最简单的存储有各种数据的表格到能够进行海量数据存储的大型数据库系统都在各个方面得到了广泛的应用。

众所周知不论是简单的存储有各种数据的表格还是能够进行海量数据存储的大型数据库系统来说，都有自己的数据属性管理方式，以关系型数据库MYSQL为例：

MYSQL中show Databases可以统计出Mysql中所有的数据库；

MYSQL中sshow tables fromdb_name可以列出指定数据库的所有表；

MYSQL中show table status from db_name可以查看表的描述性信息；

MYSQL中show create table tbl_name可以查看表的数据库模式定义语言(DDL，Data Definition Language)；

MYSQL中show columns from tbl_name可以查看列信息；

MYSQL中show index from tbl_name可以查看索引信息。

同样的，数据库Oracle、DB2和msSQL等都有不同于MYSQL的数据属性管理方式，因此在采用数据处理平台来处理不同类型的数据库中的数据时，需要数据处理平台能够统一维护不同类型的数据库的数据属性信息，并提供数据校验功能，这样才能对数据处理平台的存量数据和增量数据进行统一监控，其中存量数据是数据处理平台已经获取到的各种数据，增量数据则是数据处理平台将来会获取到的各种数据。

发明内容

有鉴于此，本发明的目的在于提供一种数据处理方法及数据处理平台，用于分类存储元数据下的数据，并对元数据下的数据进行质量校验，以使得数据处理平台具有质量校验功能，进而实现对存量数据和增量数据的统一监控。

本发明提供一种数据处理方法，所述方法包括：

通过数据处理平台从数据库中采集至少一个元数据和所述至少一个元数据下的数据，所述元数据用于指示所述数据库中对应字段的属性信息；

根据所述元数据指示的对应字段的属性信息，确定所述元数据在数据仓库中所属层次以及在所属层次下的所属分类，所述数据处理平台以数据仓库的形式存储数据，所述数据仓库基于所述数据处理平台预先设置的数据划分规则划分成多个层次，且每个层次划分有多个分类，每个分类下对应一个数据库表，所述数据库表用于存储一个元数据下的数据；

将所述至少一个元数据下的数据的格式转换为所述数据处理平台预先设定的格式，并将转换格式后的数据存储到所确定的所属层次下的所属分类下的数据库表中；

基于所述数据处理平台预先设定的数据监控规则，对至少一个元数据下的数据进行质量校验。