[发明专利]数据同步生成方法、装置、计算机设备以及存储介质

说明书

本申请涉及数据资源，揭示了数据同步生成方法、装置、计算机设备以及存储介质，其中，数据同步生成方法，包括：在关系数据库中读取预配置的将关系数据库数据同步到大数据平台的配置表格的表结构，以获取所述配置表格的各配置信息；根据所述配置信息生成所述大数据平台对应的调度任务、脚本和建表语句；将所述调度任务、脚本和建表语句分别传输至所述大数据平台的指定位置，以调度关系数据库的指定数据到大数据平台。开发了Sqoop数据同步自动生成工具，能自动生成Sqoop数据同步的脚本文件和建表语句，直接进行部署(挂在另外一个平台上面)，通过平台进行控制脚本文件的同步，脚本运行平台统一、集中，方便运营人员统管所有脚本运行情况。

技术领域

本申请涉及到大数据领域，特别是涉及到数据同步生成方法、装置、计算机设备以及存储介质。

背景技术

现有的关系数据库中的数据需同步到大数据平台，才能被应用于不同的应用领域，才能不断地扩充大数据平台的数据量，以便将特定关系数据库中的数据共享给其他的关系数据库。现有关系数据库的权限较严格，其他关系数据库不能从指定关系数据库中直接获取相应信息，且由于各关系数据库的数据类型不具有兼容性，其他关系数据库也不能直接识别指定关系数据库中数据，需要将关系数据库同步到大数据平台，然后再进行共享，但目前项目没有Sqoop(一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库间进行数据传递)数据同步自动生成工具，需要人工参与撰写脚本代码、容易出现代码错误，且工作量大，产品上线需要的时间较长，工作效率不高。

发明内容

本申请的主要目的为提供一种将关系数据库数据同步到大数据平台的数据同步生成方法，旨在解决将关系数据库同步到大数据平台时均需人工参与，工作效率不高的技术问题。

本申请提出一种数据同步生成方法，将关系数据库数据同步到大数据平台，包括：

在关系数据库中读取预配置的将关系数据库数据同步到大数据平台的配置表格的表结构，以获取所述配置表格的各配置信息；

根据所述配置信息生成所述大数据平台对应的调度任务、脚本和建表语句；

将所述调度任务、脚本和建表语句分别传输至所述大数据平台的指定位置，以调度关系数据库的指定数据到大数据平台。

优选地，所述在关系数据库中读取预配置的将关系数据库数据同步到大数据平台的配置表格的表结构的步骤之前，包括：

接收各所述配置信息分别对应的字段,其中各所述配置信息根据任务协议配置到配置表格内；

检测各所述字段是否符合预设的配置规则；

若是，则生成读取所述配置表格的表结构的指令。

优选地，所述检测各所述字段是否符合预设的配置规则的步骤，包括：

获取各字段分别对应的字段内容；

判断各所述字段内容的书写方式是否与预设配置规则中的各书写规则一一对应匹配；

若是，则判定所述配置表格的各字段符合预设配置规则，否则所述配置表格的各字段不符合预设配置规则。

优选地，所述根据所述配置信息生成所述大数据平台对应的调度任务、脚本和建表语句的步骤，包括：

根据所述配置信息构建关系数据库对应的大数据平台的数据表；

根据所述数据表的抽数模式构建对应的脚本和建表语句；

根据所述脚本和建表语句自动生成对应的调度任务，所述调度任务用于调度所述关系数据库的指定数据到大数据平台。

优选地，所述根据所述数据表的抽数模式构建对应的脚本和建表语句的步骤，包括：

判断所述抽数模式是否为全量抽取；