[发明专利]一种基于时间戳和日志的增量数据捕获和抽取方法

权利要求书

1.一种基于时间戳和日志的增量数据捕获和抽取方法，其特征在于，包括如下步骤：

步骤一、为业务系统中的每个需要增量抽取数据的表增加一个自增长的代理键字段和一个时间戳字段；

步骤二、新增或修改数据表中的数据时，采用时间戳的方式；

步骤三、删除数据表中的数据时，采用日志记录的方式。

2.如权利要求1所述的基于时间戳和日志的增量数据捕获和抽取方法，其特征在于，步骤二中所述的时间戳方式包括如下步骤：

a在数据仓库的全局参数表中记录每个数据表最近一次已抽取的时间戳值；

b将所述修改数据所在行的时间戳字段的值设置为当前的系统时间；

c增量抽取数据表中的数据时，只抽取每个数据表中时间戳值大于最近一次已抽取的时间戳值的数据；

d将全局参数表中数据表的时间戳值更新为本次增量抽取的数据中最新的时间戳值。

3.如权利要求1所述的基于时间戳和日志的增量数据捕获和抽取方法，其特征在于，步骤三中所述的日志记录的方式包括如下步骤：

I在系统中创建删除日志表；

II将删除数据所在数据表的表名和所在行的代理键值写入所述删除日志表中；

III在数据仓库的全局参数表中，记录每个数据表上次已处理的删除记录的最大代理键值；

IV增量处理删除记录时，只处理每个数据表中代理键值大于所述最大代理键值的删除记录对应的数据；

V将数据仓库全局参数表中的最大代理键值更新为本次增量处理的数据中最大的代理键值。