[发明专利]数据交换方法、装置及系统

说明书

本发明公开了一种数据交换方法、装置及系统，其中所述方法包括：获取一源数据库的日志文件；通过所述日志文件提取所述源数据库的操作记录，并将所述操作记录转换为预设格式的操作记录；根据所述预设格式的操作记录的字段将所述预设格式的操作记录写入对应的内存队列中，供目标系统从所述内存队列中提取预设格式的操作记录并执行。本技术方案可适用于多种类型的源数据库，无需开发人员或维护人员手动处理便可完成跨系统数据交换，具有扩展性好、对源数据库系统和目标数据库系统的资源占用少的优点。

技术领域

本发明涉及计算机数据交换技术领域，尤其涉及一种数据交换方法、装置及系统。

背景技术

目前，跨系统的数据交换方案是首先通过对源数据库直接查询得到全量数据或增量数据，再将查询得到的全量数据或增量数据传输至目标系统；目标系统将获取的数据与自身拥有的数据作比对，提取出变更的数据，然后将变更的数据和自身拥有的数据合并。

该种数据交换方案存在如下缺陷：第一、对源数据库系统直接查询得到全量数据或增量数据，对源数据库和目标系统的压力大，甚至直接影响源数据库或目标系统正常运行，且数据交换的开发量随着系统规模线性增大，对于大型项目的开发周期和风险骤增；第二、与源数据库的耦合性低，需要花费大量精力对源数据库设计进行调研；第三、仅限于针对现有项目需求做临时开发，整体架构缺乏足够的灵活性和扩展性，当后续其他项目有相关需求时，仍需重新实现；第四、对于数据交换的相关变更，不能自动处理，需由开发人员或维护人员手动处理，大大增加人力成本。

综上分析，现有技术中缺乏在一种可耦合多种类型的源数据库，同时对源数据库和目标系统的资源占用少且可自动交换数据的数据交换技术方案。

发明内容

本发明实施例提供一种数据交换方法、装置及系统，以解决现有技术中不存在可耦合多种类型的源数据库、且对源数据库和目标系统的资源占用少且可自动交换数据的数据交换技术方案。

根据本发明实施例提供的一种数据交换方法，包括：

获取一源数据库的日志文件；

通过所述日志文件提取所述源数据库的操作记录，并将所述操作记录转换为预设格式的操作记录；

根据所述预设格式的操作记录的字段将所述预设格式的操作记录写入对应的内存队列中，供目标系统从所述内存队列中提取预设格式的操作记录并执行，其中所述目标系统为分布式数据库。

在一个实施例中，所述操作记录中包括源数据库的表的结构信息，所述方法还包括：

从所述预设格式的操作记录中获取所述源数据库的表的结构信息，并发送至所述目标系统，以使所述目标系统根据所述源数据库的表的结构信息生成对应的表。

在一个实施例中，所述预设格式的操作记录包括以下字段：源数据库的库名、源数据库中包含的表的表名、以及源数据库中运行的实例的实例名。

根据本发明实施例提供的一种数据交换装置，包括：

获取单元，用于获取一源数据库的日志文件；

转换单元，用于通过所述日志文件提取所述源数据库的操作记录，并将所述操作记录转换为预设格式的操作记录；

写入单元，用于根据所述预设格式的操作记录的字段将所述预设格式的操作记录写入对应的内存队列中，供目标系统从所述内存队列中提取预设格式的操作记录并执行，其中，所述目标系统为分布式数据库。

在一个实施例中，所述操作记录中包括源数据库的表的结构信息；所述获取单元还用于，从所述操作记录中获取所述源数据库的表的结构信息；所述写入单元还用于，将所述源数据库的表的结构信息写入所述内存队列中，以使所述目标系统根据所述源数据库的表的结构信息生成对应的表。