[发明专利]元数据统一管理方法、系统、介质、设备及程序

说明书

本申请提供一种元数据统一管理方法、系统、介质、设备及程序。在本申请中，元数据统一管理系统的多条数据通路中的任一数据通路在向目标Hbase进行数据导入操作的过程中，先调用元数据管理中心，并获取元数据管理中心中目标Hbase所对应的元数据模型，然后，根据元数据模型对进行数据导入操作的数据进行处理，以将处理后的数据写入至目标Hbase。可见，在数据导入过程中，通过在元数据管理中心对元数据模型进行统一管理，任一数据源通路在进行数据导入时，都会以此元数据模型为准，进而有效地解决了多数据通路同步所存在的数据无法对齐的技术问题。

技术领域

本申请涉及金融科技(Fintech)技术领域，尤其涉及一种元数据统一管理方法、系统、介质、设备及程序。

背景技术

随着计算机技术的发展，越来越多的技术应用在金融领域，传统金融业正在逐步向金融科技(Finteh)转变，接口测试技术也不例外，但由于金融行业的安全性、实时性要求，也对数据管理技术提出的更高的要求。

目前，随着云计算和大规模数据时代的到来，各种类型的互联网应用层出不穷，特别是以社交网络服务(Social Networking Services，SNS)为代表的社会网络的快速发展，传统的关系型数据库已经越来越无法满足云计算和大数据对处理海量数据、高并发读写速度、可扩展性、高可用性等方面的要求。为了满足对处理海量数据、高并发读写速度、可扩展性、高可用性等方面的要求，非关系型分布式存储系统应运而生。其中，HBase就是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价的硬件环境上搭建起大规模结构化存储集群。

但是，对于HBase的数据来源通常是多渠道的，容易造成多数据源元数据的混乱。

发明内容

本申请实施例提供一种元数据统一管理方法、系统、介质、设备及程序，以解决由于HBase的多渠道数据来源所造成的多数据源元数据混乱的技术问题。

第一方面，本申请实施例提供一种元数据统一管理方法，应用于元数据统一管理系统，所述元数据统一管理系统包括：Hbase集群、元数据管理中心以及多条数据通路，其中，各条数据通路通过不同的代码实现，所述方法，包括：

所述多条数据通路中的任一数据通路在向目标Hbase进行数据导入操作的过程中，调用所述元数据管理中心，所述目标Hbase为所述Hbase集群中进行所述数据导入操作的数据库；

获取所述元数据管理中心中所述目标Hbase所对应的元数据模型；

根据所述元数据模型对进行所述数据导入操作的数据进行处理，以将处理后的数据写入至所述目标Hbase。

在一种可能的设计中，所述多条数据通路包括：第一数据通路、第二数据通路以及第三数据通路；

其中，所述第一数据通路与所述第三数据通路用于输入实时数据，所述第二数据通路用于输入预设时长前的数据，以通过所述第二数据通路所输入的数据对通过所述第一数据通路或所述第三数据通路所输入的数据进行补充。

在一种可能的设计中，根据所述元数据模型对进行所述数据导入操作的数据进行处理，以将处理后的数据写入至所述目标Hbase，包括：

若进行所述数据导入操作的数据通路为所述第一数据通路，则在核心联机系统产生交易数据后，由所述核心联机系统通过异步任务将所述交易数据发送至预设流处理平台；

通过预设数据源提取工具消费所述预设流处理平台中的交易数据，并根据所述元数据模型将所述交易数据写入至所述目标Hbase；或者，

若进行所述数据导入操作的数据通路为所述第二数据通路，则由核心联机系统生成交易数据至联机库，并通过预设数据传递工具以抽数的形式将所述交易数据抽取至预设数据仓库工具；