[发明专利]基于报文解析的数据复制链路优化方法及装置

权利要求书

1.一种基于报文解析的数据复制链路优化方法，其特征在于，包括：

获取主机端发送的MQ报文，并将所述MQ报文放入缓存，其中，所述MQ报文包括：消息ID以及报文的字段偏移量信息；

根据所述消息ID确定所述MQ报文对应的主机表，并获取所述主机表对应的预设的复制预定参数，其中，所述复制预定参数包括：复制的字段数据类型、复制的字段名称以及复制的字段长度；

根据所述复制预定参数以及所述字段偏移量信息从所述MQ报文中提取字段数据，并组合成平台端报文，其中，所述平台端报文包含所述MQ报文对应的主机表的表名信息；

将所述平台端报文发送到平台分布式消息引擎，以使平台端的数据库从所述平台分布式消息引擎获取相应的平台端报文。

2.根据权利要求1所述的基于报文解析的数据复制链路优化方法，其特征在于，所述将所述平台端报文发送到平台分布式消息引擎，具体包括：

通过生产者线程将平台端报文发送到所述平台分布式消息引擎中的对应的消息引擎集群，其中，所述生产者线程配置有该消息引擎集群的IP、端口信息以及设置的该消息引擎集群对应的表名信息。

3.根据权利要求1所述的基于报文解析的数据复制链路优化方法，其特征在于，所述将所述平台端报文发送到平台分布式消息引擎，具体包括：

为所述平台端报文配置ID标识信息；

在发送成功后，将所述ID标识信息添加到成功处理列表中。

4.根据权利要求3所述的基于报文解析的数据复制链路优化方法，其特征在于，还包括：

将与所述成功处理列表中的ID标识信息对应的平台端报文相对应的MQ报文从缓存中清除。

5.根据权利要求1所述的基于报文解析的数据复制链路优化方法，其特征在于，还包括：

通过消费者线程将平台端报文从所述平台分布式消息引擎中的目标消息引擎集群中拉取到平台端的数据库，其中，所述消费者线程配置有该目标消息引擎集群的IP、端口信息以及设置的拉取的平台端报文的表名信息。

6.根据权利要求2所述的基于报文解析的数据复制链路优化方法，其特征在于，所述生产者线程还配置有用户设置的报文发送频率、每次发送的报文大小、发送成功确认信息、发送失败重发次数、报文储存时间、报文压缩方式中的至少一种或任意组合。

7.根据权利要求2所述的基于报文解析的数据复制链路优化方法，其特征在于，所述通过生产者线程将平台端报文发送到所述平台分布式消息引擎中的对应的消息引擎集群，包括：

所述生产者线程生成所述平台端报文的至少一个副本，并将该副本发送到所述平台分布式消息引擎中的对应的消息引擎集群。

8.一种基于报文解析的数据复制链路优化装置，其特征在于，包括：

MQ报文预读单元，用于获取主机端发送的MQ报文，并将所述MQ报文放入缓存，其中，所述MQ报文包括：消息ID以及报文的字段偏移量信息；

复制预定参数确定单元，用于根据所述消息ID确定所述MQ报文对应的主机表，并获取所述主机表对应的预设的复制预定参数，其中，所述复制预定参数包括：复制的字段数据类型、复制的字段名称以及复制的字段长度；

报文解析单元，用于根据所述复制预定参数以及所述字段偏移量信息从所述MQ报文中提取字段数据，并组合成平台端报文，其中，所述平台端报文包含所述MQ报文对应的主机表的表名信息；

报文发送单元，用于将所述平台端报文发送到平台分布式消息引擎，以使平台端的数据库从所述平台分布式消息引擎获取相应的平台端报文。

9.根据权利要求8所述的基于报文解析的数据复制链路优化装置，其特征在于，所述报文发送单元，包括：

生产者模块，用于通过生产者线程将平台端报文发送到所述平台分布式消息引擎中的对应的消息引擎集群，其中，所述生产者线程配置有该消息引擎集群的IP、端口信息以及设置的该消息引擎集群对应的表名信息。