[发明专利]一种数据同步方法、装置及电子设备

说明书

本申请公开了一种数据同步方法、装置、设备及存储介质。该方法包括：从目标业务系统的关系型数据库中读取关系型数据；根据所述关系型数据确定出所述关系型数据对应的图片文件的绝对路径，并将所述绝对路径添加至所述关系型数据中；根据所述关系型数据中的绝对路径利用相应的预先创建的图片文件读取组件读取所述图片文件的二进制数据；将所述二进制数据转换为Base64字符串添加至所述关系型数据，以得到包含所述Base64字符串的目标关系型数据，并将所述目标关系型数据存储至数据中心。实现一次性同时同步业务的关系型数据和图片文件数据，提高了数据同步的能力，并通过建立关系型数据与图片文件的强关联，提高了数据查询的便捷性。

技术领域

本发明涉及数据存储领域，特别涉及一种数据同步方法、装置、设备及存储介质。

背景技术

当前，数据治理作为技术与管理相结合的一套持续改善管理机制，贯穿在数据管理的整个过程中，通常包括了组织架构、政策制度、技术工具、数据标准、流程规范、监督及考核等方方面面，将其他几个数据管理职能贯穿、协同在一起。数据治理涉及元数据管理、主数据管理、数据质量、数据集成、数据共享、监控与报告等多方面，而如何进行数据治理形成有效的数据资产，提供高质量的数据服务是目前广泛关注的问题。现有技术中，通过Kettle工具进行文件同步，但Kettle不能同时同步两种类型的数据，单次任务只能对一种类型的数据进行同步，并且缺乏文件格式转换机制。现有技术中，还存在一些数据集成工具面对多种类型数据也只能单独同步某种类型数据，降低了数据同步能力，进一步降低了数据服务的质量。

发明内容

有鉴于此，本发明的目的在于提供一种数据同步方法、装置、设备及介质，能够同时同步关系型数据和图片文件。其具体方案如下：

第一方面，本申请公开了一种数据同步方法，包括：

从目标业务系统的关系型数据库中读取关系型数据；

根据所述关系型数据确定出所述关系型数据对应的图片文件的绝对路径，并将所述绝对路径添加至所述关系型数据中；

根据所述关系型数据中的绝对路径利用相应的预先创建的图片文件读取组件读取所述图片文件的二进制数据；

将所述二进制数据转换为Base64字符串添加至所述关系型数据，以得到包含所述Base64字符串的目标关系型数据，并将所述目标关系型数据存储至数据中心。

可选的，所述根据所述关系型数据确定出所述关系型数据对应的图片文件的绝对路径，包括：

读取所述目标关系型数据中的绝对路径字段，作为所述关系型数据对应的图片文件的绝对路径；

或，读取所述目标关系型数据中的相对路径字段，并通过向所述相对路径字段添加相应的字段前缀以得到所述图片文件的绝对路径；

或，读取所述目标关系型数据中的目标参数字段，根据所述目标参数字段确定出所述图片文件的绝对路径；其中，所述目标参数字段为与所述图片文件存在映射连接的字段。

可选的，所述根据所述关系型数据中的绝对路径利用相应的预先创建的图片文件读取组件读取所述图片文件的二进制数据之前，还包括：

根据本地服务器与所述图片文件所在目标服务器的关系，确定出对应的图片文件读取组件；

根据所述图片文件读取组件的类型以及预先配置的服务器参数与所述目标服务器的建立连接，并获取预先配置的绝对路径名称字段；其中，所述服务器参数包括IP、端口、账号和密码；

根据预先配置的线程数创建对应数量的所述图片文件读取组件。

可选的，所述根据本地服务器与所述图片文件所在目标服务器的关系，确定出对应的图片文件读取组件，包括：