[发明专利]大数据环境下基于HBase的异构数据库在线交换与共享系统

说明书

大数据环境下基于HBase的异构数据库在线交换与共享系统，包括异构数据库统一访问组件、数据采集模块、数据映射模块、数据转换模块、数据融合模块、数据分发模块以及数据投递模块。异构数据库统一访问组件提供统一的数据库访问接口；数据采集模块采集源数据库中数据；数据映射模块建立各个异构数据库与统一语义共享模型的映射关系；数据转换模块实现数据转换；数据融合模块将统一语义共享模型与历史数据的统一语义共享模型融合，并存储在HBase中间数据库；数据分发模块根据时间戳将待交换字段数据发送给数据转换模块；数据投递模块将数据推送到相应目标数据库中。本发明实现了异构数据库间海量数据自动在线交换与共享，交换共享效率高。

技术领域

本发明涉及大数据环境下基于HBase的异构数据库在线交换与共享系统，属于数据交换领域。

背景技术

当前各企业应用系统使用异构数据库的现象普遍存在，这些异构数据库往往存在较大差异，如数据存储结构不同、数据类型不同、数据表示方式不同等，这给数据库间数据交换共享带来了很大不便。而信息化建设的迅猛发展，又导致需要交换与共享的信息量十分巨大，信息交换呈现多源、异构、海量的特点。如何实现异构数据库之间大数据高效自动在线交换与共享成为当前亟需解决的难题。

SQL Server提供的数据导入导出工具，实现了关系型数据库的数据迁移，但是该工具可支持的异构数据库类型比较有限，只能离线导入导出，异构数据库间进行数据共享也不够灵活，而且无法满足海量数据在线交换的需求。

中国专利公开号CN103809946A，公开日2014年5月21日，发明创造名称为一种基于XML和中间件的异构数据库集成的方法，该申请案公开了一种通过将异构数据库数据转换为统一格式的XML文件来实现异构数据库集成的方法。该方法采用的统一交换模型为XML文件形式，XML文件形式不支持高并发读写，交换共享效率较低，能处理的数据量较小。

发明内容

本发明的技术解决问题是：克服现有技术的不足，提供大数据环境下基于HBase的异构数据库在线交换与共享系统，能够对接各种异构关系型数据库及列式存储的HBase数据库，采用统一语义共享模型作为数据库间转换桥梁，具备处理海量数据能力，实现了异构数据库间海量数据自动在线交换与共享，交换共享效率高。

本发明的技术解决方案是：大数据环境下基于HBase的异构数据库在线交换与共享系统，包括异构数据库统一访问组件、数据采集模块、数据映射模块、数据转换模块、数据融合模块、数据分发模块以及数据投递模块；

异构数据库统一访问组件：为各异构数据库提供统一的数据库访问接口；

数据采集模块：根据交换与共享的需求以及预设的抽取策略，通过异构数据库统一访问组件采集源数据库中的数据，发送给数据转换模块，所述抽取策略包括抽取时间间隔、是否全表抽取；

数据映射模块：建立各个异构数据库与统一语义共享模型之间的映射关系，提供给数据转换模块；

数据转换模块：根据源数据库与统一语义共享模型之间的映射关系，将来自源数据库中的数据转换为统一语义共享模型，输出给数据融合模块；根据统一共享模型和目标数据库之间的映射关系，将来自数据分发模块的数据转换为目标数据库中的数据，并发送给数据投递模块；

数据融合模块；将来自数据转换模块的统一语义共享模型与历史数据的统一语义共享模型进行融合，并将融合后的统一语义共享语义模型存储在HBase中间数据库；

数据分发模块：获取上次向目标数据库推送数据的时间戳t，从HBase中间库读取t之后且与t紧邻的时间戳对应的待交换字段数据，发送给数据转换模块；

数据投递模块：根据交换与共享的需求以及预设的推送时间间隔，将数据推送到相应目标数据库中。