[发明专利]元数据统一管理方法、系统、介质、设备及程序

权利要求书

1.一种元数据统一管理方法，其特征在于，应用于元数据统一管理系统，所述元数据统一管理系统包括：Hbase集群、元数据管理中心以及多条数据通路，其中，各条数据通路通过不同的代码实现，所述方法，包括：

所述多条数据通路中的任一数据通路在向目标Hbase进行数据导入操作的过程中，调用所述元数据管理中心，所述目标Hbase为所述Hbase集群中进行所述数据导入操作的数据库；

获取所述元数据管理中心中所述目标Hbase所对应的元数据模型；

根据所述元数据模型对进行所述数据导入操作的数据进行处理，以将处理后的数据写入至所述目标Hbase。

2.根据权利要求1所述的元数据统一管理方法，其特征在于，所述多条数据通路包括：第一数据通路、第二数据通路以及第三数据通路；

其中，所述第一数据通路与所述第三数据通路用于输入实时数据，所述第二数据通路用于输入预设时长前的数据，以通过所述第二数据通路所输入的数据对通过所述第一数据通路或所述第三数据通路所输入的数据进行补充。

3.根据权利要求2所述的元数据统一管理方法，其特征在于，根据所述元数据模型对进行所述数据导入操作的数据进行处理，以将处理后的数据写入至所述目标Hbase，包括：

若进行所述数据导入操作的数据通路为所述第一数据通路，则在核心联机系统产生交易数据后，由所述核心联机系统通过异步任务将所述交易数据发送至预设流处理平台；

通过预设数据源提取工具消费所述预设流处理平台中的交易数据，并根据所述元数据模型将所述交易数据写入至所述目标Hbase；或者，

若进行所述数据导入操作的数据通路为所述第二数据通路，则由核心联机系统生成交易数据至联机库，并通过预设数据传递工具以抽数的形式将所述交易数据抽取至预设数据仓库工具；

通过所述数据仓库工具对所述交易数据进行清洗与加工，并读取所述元数据模型进行数据组装；

通过预设数据导入工具将组装后的交易数据写入至所述目标Hbase；或者，

若进行所述数据导入操作的数据通路为所述第三数据通路，则在核心联机系统产生交易数据后，调用预设远程调用工具；

通过所述预设远程调用工具，并根据所述元数据模型将所述交易数据写入至所述目标Hbase。

4.根据权利要求1-3中任意一项所述的元数据统一管理方法，其特征在于，在所述根据所述元数据模型对进行所述数据导入操作的数据进行处理之后，还包括：

根据预设信息摘要算法对各条数据通路中进行所述数据导入操作后的数据所对应的列定义进行一致性校验，并确认各条数据通路中所写入的数据的列具有相同顺序后，将处理后的数据写入至所述目标Hbase。

5.根据权利要求4所述的元数据统一管理方法，其特征在于，还包括：

若所述元数据管理中心中元数据模型发生变化，则所述元数据管理中心向各个数据源发送元数据模型改变通知；

其中，所述元数据管理中心中的元数据模型包括：Hbase行键规则，所述Hbase行键规则包括：Hbase列簇、Hbase列结构以及Hbase列校验字段；其中，所述Hbase列簇用于对HBase中的列簇进行约束，所述Hbase列结构用于对HBase中的列结构进行约束，所述Hbase列校验字段用于对HBase中的列进行校验。

6.根据权利要求5所述的元数据统一管理方法，其特征在于，在所述根据所述元数据模型对进行所述数据导入操作的数据进行处理，以将处理后的数据写入至所述目标Hbase之后，还包括：

从所述元数据管理中心的元数据中心中读取元数据，并根据所述元数据生成数据代码；

对所述数据代码进行打包编译，以生成相应的功能类，所述功能类用于为所述元数据统一管理系统提供业务能力。