[发明专利]一种分布式异构关系型数据库入库方法

说明书

本发明公开了一种分布式异构关系型数据库入库方法，应用服务器上的入库提交服务程序根据数据库节点列表中的数据库节点类型和数据库节点链接信息加载对应的关系型数据库驱动，并链接数据库节点列表中的数据库节点；应用服务器上的入库提交服务程序扫描为数据库节点缓存的归一化操作日志文件副本，解析操作日志文件副本中键值为rep的键值对，将键值对的值反向转换为数据库节点的一系列入库操作，对待操作的数据对象进行入库操作。本发明解决了关系型数据存储的横向扩展问题，适应于与无限海量数据的存储；通过对异构关系型数据库的支持，提升了数据的存储的安全性和经济性。

技术领域

本发明涉及一种分布式异构关系型数据库入库方法，属于计算机数据存储技术领域。

背景技术

在5G悄然到来的时代，伴随着物联网和数据采集终端性能的提升，越来越多的数据被采集和存储，在这个过程中产生海量数据。而传统关系型数据库数据读写必须经过sql解析，大量数据、高并发下读写性能不足，大量数据集中到一台服务区处理，使服务器不堪重负。

目前，针对海量的关系型数据存储需求，对待存储数据对象进行分区处理才能有效提高存储能力，然而为了提高安全性和经济性现有的多种关系型数据库都采用并列运行。不同类型的关系型数据库其操作接口和支持的sql语言标准的不一致，当选择多种类型关系型数据库软件作为数据存储载体时，如何解决关系型数据存储问题，提高存储能力，就成了本领域技术人员急需要解决的技术问题。

发明内容

目的：为了克服现有技术中存在的不足，本发明提供一种分布式异构关系型数据库入库方法。

技术方案：为解决上述技术问题，本发明采用的技术方案为：

一种分布式异构关系型数据库入库方法，包括如下步骤：

应用服务器上的应用程序在进行数据对象入库操作时，根据待操作的数据对象对应的数据分区获得入库操作的数据存储分组。

根据入库操作的数据存储分组，获得数据存储分组中的数据库节点列表。

应用服务器上的入库提交服务程序根据数据库节点列表中的数据库节点类型和数据库节点链接信息加载对应的关系型数据库驱动，并链接数据库节点列表中的数据库节点。

应用服务器上的入库提交服务程序扫描为数据库节点缓存的归一化操作日志文件副本，解析操作日志文件副本中键值为rep的键值对，将键值对的值反向转换为数据库节点的一系列入库操作，对待操作的数据对象进行入库操作。

作为优选方案，还包括：对于不在线的数据库节点，进入延时重试模式，在访问恢复后继续进行入库操作。

作为优选方案，所述数据存储分组数量为多个，数据存储分组之间没有主从之分，不存在核心分组，多个数据存储分组组成数据存储集群；每个数据存储分组包括一主多备个异构关系型数据库节点。

作为优选方案，每个数据存储分组都有全局唯一的数据存储分组编码。

作为优选方案，异构关系型数据库节点至少包括Oracle、mysql、达梦和PostgreSQL其中之一。

作为优选方案，所述根据待操作的数据对象对应的数据分区获得入库操作的数据存储分组，包括：

根据待操作的数据对象的数据对象编码获得数据分区编码。

根据数据分区编码，获得数据分区和对应数据存储分组编码。

根据数据存储分组编码，获得数据存储分组。

作为优选方案，所述数据分区至少按照地理位置、行政区域、对象数量和数据重要程度其中之一进行划分。

作为优选方案，每个数据分区至少映射一个数据存储分组；每个数据存储分组可以映射多个数据分区。