[发明专利]基于报文解析的数据复制链路优化方法及装置

说明书

本发明实施例公开了一种基于报文解析的数据复制链路优化方法及装置，该优化方法包括：获取主机端发送的MQ报文，并将所述MQ报文放入缓存，其中，所述MQ报文包括：消息ID以及报文的字段偏移量信息；根据所述消息ID确定所述MQ报文对应的主机表，并获取所述主机表对应的预设的复制预定参数；根据所述复制预定参数以及所述字段偏移量信息从所述MQ报文中提取字段数据，并组合成平台端报文；将所述平台端报文发送到平台分布式消息引擎，以使平台端的数据库从所述平台分布式消息引擎获取相应的平台端报文。本发明解决了由于受CDC的限制导致现有的主机到平台数据复制链路的数据复制性能不理想的技术问题。

技术领域

本发明涉及数据复制领域，具体而言，涉及一种基于报文解析的数据复制链路优化方法及装置。

背景技术

在IT架构转型的背景下，许多主机核心应用也转向了开放平台技术的阵地，从而产生了海量的主机到平台的数据共享需求。然而，当前主机到平台分布式消息引擎(KAFKA)或者MYSQL数据库的数据复制，必须要通过在ORACLE中转库+CDC(IBM的端到端复制工具)的复制链路。如图2所示，优化前主机到平台数据复制链路为：主机MQ(消息队列)将MQ报文从主机端发送到开放平台端，由平台MQ接收，报文需要发送到平台ORACLE数据库中进行中转进而发送到CDC单元，最终报文从CDC单元发送到KAFKA实现被MYSQL数据库获取。该据复制链路存在中间链路多、时效低、环节复杂等问题。这些问题不仅降低了数据复制速度，也影响到了数据复制链路运行的稳定性。CDC产品在压测中最高只能到1.5万笔/每秒左右的性能，该性能远远无法满足我行主机核心业务下平台的海量数据需求。为了提升数据复制的性能和时效、同时避免链路复杂这个问题，企业需要考虑新的简洁的复制链路优化方法。

本发明为了解决上述技术问题中的至少一个，提出了一种基于报文解析的数据复制链路优化方法及装置。

需要说明的时，上述背景技术中介绍的优化前主机到平台数据复制链路仅为阐述清楚本发明所要解决的技术问题，不能理解为是本领域的现有技术。

发明内容

本发明的主要目的在于提供一种基于报文解析的数据复制链路优化方法及装置，以解决由于受CDC的限制导致现有的主机到平台数据复制链路的数据复制性能不理想的技术问题。

为了实现上述目的，根据本发明的一个方面，提供了一种基于报文解析的数据复制链路优化方法，该方法包括：

获取主机端发送的MQ报文，并将所述MQ报文放入缓存，其中，所述MQ报文包括：消息ID以及报文的字段偏移量信息；

根据所述消息ID确定所述MQ报文对应的主机表，并获取所述主机表对应的预设的复制预定参数，其中，所述复制预定参数包括：复制的字段数据类型、复制的字段名称以及复制的字段长度；

根据所述复制预定参数以及所述字段偏移量信息从所述MQ报文中提取字段数据，并组合成平台端报文，其中，所述平台端报文包含所述MQ报文对应的主机表的表名信息；

将所述平台端报文发送到平台分布式消息引擎，以使平台端的数据库从所述平台分布式消息引擎获取相应的平台端报文。

可选的，所述将所述平台端报文发送到平台分布式消息引擎，具体包括：

通过生产者线程将平台端报文发送到所述平台分布式消息引擎中的对应的消息引擎集群，其中，所述生产者线程配置有该消息引擎集群的IP、端口信息以及设置的该消息引擎集群对应的表名信息。

可选的，所述将所述平台端报文发送到平台分布式消息引擎，具体包括：

为所述平台端报文配置ID标识信息；

在发送成功后，将所述ID标识信息添加到成功处理列表中。

可选的，该方法还包括：