[发明专利]一种SQL Server增量同步的实现方法

说明书

本发明公开了一种SQL Server增量同步的实现方法，属于数据同步与备份技术领域，该方法迭代查询fn_dblog，每次迭代获取一部分增量数据，逐步前移，基于日志序列号LSN过滤筛选出增量信息，进而得到全部增量数据；并结合CMSP传输增量数据，实现SQL Server数据库增量数据实时同步。本发明能够实现SQL Server数据库的增量数据的提取，有效避免生产数据库卡死崩溃，提高实时性，改善用户体验。

技术领域

本发明涉及数据同步与备份技术领域，具体地说是一种SQL Server增量同步的实现方法。

背景技术

随着现代信息科技的快速发展，人类社会步入互联网和大数据时代。信息正深刻改变着人们的思维、生产和生活方式，与各行各业深度融合，产生了巨大的社会和商业价值。人工智能技术突飞猛进、5G快速发展等，正是信息科技的长期发展的结果。作为信息的重要组成部分，数据也显得越来越重要。信息数据的复杂性、网络环境的不确定性、设备的不稳定性、人为误操作等都会给数据带来了不小的安全隐患，因此数据同步和备份显得极为重要。

SQL Server，是微软推出的一种关系型数据库系统，其具有可扩展、高性能等特性。作为发布比较早的数据库，SQL Server在市场中应用广泛，具有极为重要的地位，对其相关研究和发现有很大的市场和商业价值。

发明内容

本发明的技术任务是针对以上不足之处，提供一种SQL Server增量同步的实现方法，能够实现SQL Server数据库的增量数据的提取，有效避免生产数据库卡死崩溃，提高实时性，改善用户体验。

本发明解决其技术问题所采用的技术方案是：

一种SQL Server增量同步的实现方法，该方法迭代查询fn_dblog，每次迭代获取一部分增量数据，逐步前移，基于日志序列号LSN过滤筛选出增量信息，进而得到全部增量数据；

结合CMSP传输增量数据，实现SQL Server数据库增量数据实时同步。

本方法基于迭代查询fn_dblog获取SQL Server增量操作，结合CMSP传输，实现增量数据同步，SQL Server提供了事务日志函数解析日志功能，对数据库的增量操作都会被记录在日志中，通过查询调用事务日志函数解析日志，可以获取到对数据库的增量操作。

事务日志函数fn_dblog是SQL Server数据库提供的非公开的系统函数，通过其可以获取到增量数据信息；

CMSP是云和大数据时代的一种高性能消息中间件，以云服务和集群方式对外提供高性能和高可靠的消息队列服务，支撑大数据采集、传输、汇聚、交换，大数据实时处理和微服务处理架构；

基于迭代查询fn_dblog解析日志，逐步获取增量数据，再结合CMSP高效传输，实现SQL Server增量同步功能。

优选的，fn_dblog函数包括参数StartingLSN和EndingLSN，对所述StartingLSN和EndingLSN赋上初值，进行迭代查询。

fn_dblog函数形式为fn_dblog(@StartingLSN，@EndingLSN)，其中该函数的两个参数分别表示起始的LSN和结束的LSN。默认情况下，可以使用空值，如果将@StartingLSN设置为空，则表示从首日志记录开始查询，如果@EndingLSN为空值，则表示一直查询到日志的尾记录为止。

LSN，是Log Sequence Number，即日志序列号的简称，SQL Server使用事务日志来记录发生在数据库服务器的事务。通过LSN过滤筛选，得到增量信息，通过相关处理便可进一步得到增量数据。

进一步的，对于参数StartingLSN的设定，首次迭代时，StartingLSN的设定包括：

人工设定；