[发明专利]关系型数据库到Hadoop数据库的结构同步方法和装置在审
申请号: | 201910341135.7 | 申请日: | 2019-04-25 |
公开(公告)号: | CN110245145A | 公开(公告)日: | 2019-09-17 |
发明(设计)人: | 刘浩 | 申请(专利权)人: | 深圳壹账通智能科技有限公司 |
主分类号: | G06F16/23 | 分类号: | G06F16/23;G06F16/27 |
代理公司: | 北京中强智尚知识产权代理有限公司 11448 | 代理人: | 黄耀威 |
地址: | 518000 广东省深圳市前海深港合作区前*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 关系型数据库 表结构 同步的 数据库 元数据信息 预设标准 映射表 预设 方法和装置 计算机设备 数据源信息 周期性监测 存储介质 关系存储 数据管控 运维管理 字段映射 标准表 申请 转化 更新 统一 | ||
1.一种关系型数据库到Hadoop数据库的结构同步方法,其特征在于,所述方法包括:
确定待同步的业务方的关系型数据库的种类;
确定针对所述种类的关系型数据库进行结构同步所需的数据源信息;
根据所述数据源信息,连接所述待同步的业务方的关系型数据库,并从连接到的关系型数据库中提取元数据信息;
将所述元数据信息转化为数据管控平台中Hadoop数据库的预设标准表结构,并将所述待同步的业务方的关系型数据库与所述Hadoop数据库之间的字段映射关系存储至预设映射表中;
周期性监测所述待同步的业务方的关系型数据库的表结构是否发生变化,若表结构发生变化,则对所述元数据信息所转化成的所述预设标准表结构和所述预设映射表进行更新。
2.根据权利要求1所述的方法,其特征在于,还包括:
将所述数据源信息和/或所述元数据信息存储至所述数据管控平台的预设中间库中。
3.根据权利要求1所述的方法,其特征在于,所述连接所述待同步的业务方的关系型数据库之前,所述方法还包括:
根据所述数据源信息,对所述待同步的业务方的关系型数据库进行有效性验证,在验证通过后,允许执行所述连接所述待同步的业务方的关系型数据库的步骤。
4.根据权利要求3所述的方法,其特征在于,所述对所述待同步的业务方的关系型数据库进行有效性验证,包括:
根据所述数据源信息,判断所述数据管控平台中是否存储有所述数据源信息;若未存储有所述数据源信息,则根据所述数据源信息,尝试性连接所述待同步的业务方的关系型数据库,若尝试性连接成功,则验证通过。
5.根据权利要求1所述的方法,其特征在于,所述预设标准表结构包括身份字段和信息字段;对应的,所述将所述元数据信息转化为数据管控平台中Hadoop数据库的预设标准表结构,包括:将所述元数据信息中的主键字段存储至所述预设标准表结构的所述身份字段,将所述元数据信息中的其余字段存储至所述预设标准表结构的所述信息字段,且所述其余字段以关键词/对应数值的方式存储至所述信息字段中。
6.根据权利要求1所述的方法,其特征在于,所述确定待同步的业务方的关系型数据库的种类,包括:
响应于预设选择界面中任意一个关系型数据库种类选项的选择,将被选择的关系型数据库种类选项对应的关系型数据库种类作为所述待同步的业务方的关系型数据库的种类,所述选择界面中设置有多个关系型数据库种类选项。
7.根据权利要求6所述的方法,其特征在于,所述确定针对所述种类的关系型数据库进行结构同步所需的数据源信息,包括:
在确定待同步的业务方的关系型数据库的种类后,提供一所述种类对应的信息录入界面,以供用户录入对应的数据源信息;将所述信息录入界面上被录入的数据源信息作为针对所述种类的关系型数据库进行结构同步所需的数据源信息。
8.一种关系型数据库到Hadoop数据库的结构同步装置,其特征在于,所述装置包括:
第一确定模块,用于确定待同步的业务方的关系型数据库的种类;
第二确定模块,用于确定针对所述种类的关系型数据库进行结构同步所需的数据源信息;
数据提取模块,用于根据所述数据源信息,连接所述待同步的业务方的关系型数据库,并从连接到的关系型数据库中提取元数据信息;
结构转化模块,用于将所述元数据信息转化为数据管控平台中Hadoop数据库的预设标准表结构,并将所述待同步的业务方的关系型数据库与所述Hadoop数据库之间的字段映射关系存储至预设映射表中;
变化监测模块,用于周期性监测所述待同步的业务方的关系型数据库的表结构是否发生变化,若表结构发生变化,则对所述元数据信息所转化成的所述预设标准表结构和所述预设映射表进行更新。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳壹账通智能科技有限公司,未经深圳壹账通智能科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910341135.7/1.html,转载请声明来源钻瓜专利网。