[发明专利]基于日志解析的插入操作同步优化方法和数据同步系统

说明书

本发明提供一种基于日志解析的插入操作同步优化方法和数据同步系统，该插入操作同步优化方法包括：判断待同步事务是否是针对待执行表的插入操作；若是，则根据待执行表的字典信息，判断待执行表是否存在列定义不带默认值或者列定义的默认值为空值的目标列；若存在，则分析待同步事务的各个插入操作，获取插入值为空值的目标列在各个插入操作的分布情况；当插入值为空值的目标列的分布情况满足设定条件时，在原有插入操作的基础上，将与插入值为空值的目标列相关的语句删除，重新生成目标插入操作，根据目标插入操作进行数据同步。

技术领域

本发明属于数据同步领域，更具体地，涉及一种基于日志解析的插入操作同步优化方法和数据同步系统。

背景技术

在基于日志解析架构的数据库实时同步系统(支持异构)中，数据库的DML(DataManipulation Language，简写为DML)操作是主要的数据同步内容，其中，DML操作包括INSERT、UPDATE和DELETE操作，如何提高DML操作的同步效率是各种同步软件需要共同面对的问题。

而DML操作包含的同步场景多种多样，使用统一的数据同步处理逻辑则难以达到最佳的同步效果，这就要求同步软件针对各种数据场景有针对性的进行优化，才能达到最佳的同步效果。

目前存在这种同步场景，某类表的列数很大，这类表的数据初始化时会批量插入大量的数据，然后这些插入的数据行中，只会在特定的几个列上填有有效值，其它列则默认空(NULL)值。针对这种场景，如果按照统一的处理逻辑，目标端数据同步服务在入库时，会构造全列的插入语句，然后绑定全列数据来填充后再执行，这种统一处理的方式虽然实现起来简单可靠，但是也会造成不必要的开销，影响了同步性能。针对这种特殊同步场景，如何提升它的同步性能就成为业界亟待解决的技术问题。

鉴于此，克服该现有技术产品所存在的不足是本技术领域亟待解决的问题。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于日志解析的插入操作同步优化方法和数据同步系统，其目的在于，通过减少 INSERT语句中，需要填充列的个数来提高执行性能，那些被剔除的列在插入时，数据库会默认填入NULL值，不需要在SQL语句中显示的指定，可以提高同步的性能。

为实现上述目的，按照本发明的一个方面，提供了一种基于日志解析的插入操作同步优化方法，所述插入操作同步优化方法包括：

判断待同步事务是否是针对待执行表的插入操作；

若是，则根据所述待执行表的字典信息，判断所述待执行表是否存在列定义不带默认值或者列定义的默认值为空值的目标列；

若存在，则分析所述待同步事务的各个插入操作，获取插入值为空值的目标列在各个插入操作的分布情况；

当插入值为空值的目标列的分布情况满足设定条件时，在原有插入操作的基础上，将与插入值为空值的目标列相关的语句删除，重新生成目标插入操作，根据所述目标插入操作进行数据同步。

优选地，判断所述待执行表是否存在列定义不带默认值或者列定义的默认值为空值的目标列之后还包括：

若存在，则计算所述待同步事务的第一个插入操作中，插入值为空值的目标列的占比率；

判断所述占比率是否大于设定值；

若所述占比率大于设定值，则执行分析所述待同步事务的各个插入操作，获取插入值为空值的目标列在各个插入操作的分布情况的步骤。

优选地，所述分析所述待同步事务中的各个插入操作，插入值为空值的目标列在各行的分布情况包括：

步骤A：分析所述待同步事务中的第一个插入操作，绘制插入值为空值的目标列在整行的分布情况，得到第一分布标记组；