[发明专利]一种快速生成全量数据拉链表的方法

说明书

本发明属于数据生产技术领域，尤其为一种快速生成全量数据拉链表的方法，包括数据库、关键信息抽取模块、增量数据查找模块，所述数据库与关键信息抽取模块信号连接，所述关键信息抽取模块与增量数据查找模块信号连接，所述增量数据查找模块获取增量数据；本发明，通过设置关键信息抽取模块和增量数据查找模块，可以实现一次生成增量数据表，一次性抽取全部增量数据，能够提高数据抽取的效率，节省资源消耗，通过快速全量拉链算法，执行一个SQL语句，执行一次即可生成全量拉链数据，时间跨度1年，数据量一个亿的拉链表生成，耗时30.42小时，而同样配置的服务器集群下执行本算法，只需要30分钟，生成数据更加的快，节省了用户成本。

技术领域

本发明属于数据生产技术领域，具体涉及一种快速生成全量数据拉链表的方法。

背景技术

拉链表是维护历史状态，以及最新状态数据的一种表，拉链表根据拉链粒度的不同，实际上相当于快照，只不过做了优化，去除了一部分不变的记录，通过拉链表可以很方便的还原出拉链时点的数据记录，全量数据拉链表是基于全部增量数据表的全部数据生成的拉链表，常见拉链算法需要按时间点顺序执行拉链算法，不能并行也不能批量，只能根据时间点依次顺序执行，在增加拉链表需要增加字段，在时间点跨度较长的情况下重跑拉链数据，会导致耗时相当长，时长单位可能按天计算。

发明内容

为解决上述背景技术中提出的问题。本发明提供了一种快速生成全量数据拉链表的方法，具有拉链表生成速度快的特点。

为实现上述目的，本发明提供如下技术方案：一种快速生成全量数据拉链表的方法，包括数据库、关键信息抽取模块、增量数据查找模块，所述数据库与关键信息抽取模块信号连接，所述关键信息抽取模块与增量数据查找模块信号连接，所述增量数据查找模块获取增量数据，所述增量数据通过快速全量拉链算法执行SQL语句，所述执行SQL语句可生成全量数据拉链表。

优选的，所述数据库内抽取数据表的关键信息，以形成快照表，且关键信息包括数据表的标识和时间戳。

优选的，所述增量数据查找模块比较本次和上次抽取的快照表中的时间戳，获取增量数据关键信息。

优选的，所述增量数据包括数据表中增加、修改或删除的数据。

优选的，所述增量数据抽取模块通过增量数据的关键信息的标识，从所述数据库中抽取增量数据。

与现有技术相比，本发明的有益效果是：

本发明，通过设置关键信息抽取模块和增量数据查找模块，可以实现一次生成增量数据表，一次性抽取全部增量数据，能够提高数据抽取的效率，节省资源消耗，通过快速全量拉链算法，执行一个SQL语句，执行一次即可生成全量拉链数据，时间跨度1年，数据量一个亿的拉链表生成，耗时30.42小时，而同样配置的服务器集群下执行本算法，只需要30分钟，生成数据更加的快，节省了用户成本。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明的系统示意图；

图2为本发明中快速全量拉链算法的示意图；

图中：1、数据库；2、关键信息抽取模块；3、增量数据查找模块；4、增量数据；5、快速全量拉链算法；6、执行SQL语句；7、全量数据拉链表。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1