[发明专利]一种基于CDC方式实现增量抽取数据的方法

摘要

本发明公开了一种基于CDC方式实现增量抽取数据的方法，属于计算机网络及数据库技术应用领域，提供供了一套完整可行的从源端数据库表到目标数据库表进行增量数据同步的解决方案；其次，使用了CDC技术来进行增量抽取，不需要修改源表数据结构，在提高系统运行性能的同时减少了数据传输量，减轻了网络负载。

主权项

一种基于CDC方式实现增量抽取数据的方法，其特征在于，包括以下步骤：步骤一，根据业务场景在数据源与数据目标的数据库中创建相同表结构的数据库表，再在源端数据库中创建数据操作日志缓存表；步骤二，创建动态SQL规则，实现从源端的CDC表中，将表中的[TIMESTAMP$]字段作为增量依据，抽取增量数据；步骤三，创建数据整合服务，将数据操作日志缓存表数据按照增量依据及数据变化方式更新到目标中；数据交换平台的数据整合服务中数据源为数据操作日志缓存表，设定变化监控规则；步骤四，将创建好的数据整合服务部署到源表所在的节点上，定时抽取数据；当数据库源表数据发送变化时，数据操作日志缓存表中自动存储源表变化数据；数据交换平台的定时任务开始时候会调用创建好的数据整合服务，数据操作日志缓存表中存储新的变化数据时，会读取配置文件中的时间信息作为依据将数据操作日志缓存表中的变化数据抽取出来，并存储本次操作时间来作为下次抽取的依据；步骤五，将抽取出来的数据通过数据交换平台的批量数据总线传输到目标节点，目标节点将相应变化信息更新到目标表中并存储。