[发明专利]一种历史数据存储方法和系统

说明书

技术领域

本发明属于数据存储、管理技术领域，尤其涉及一种历史数据存储方法和系统。

背景技术

随着信息技术应用的不断发展，大型企业尤其是金融行业的信息系统产生的历史数据越来越庞大，而且历史数据的增长量也越来越快。

大型企业尤其是金融行业的历史数据包含较多的重要信息、敏感信息，例如银行系统的客户数据等，基于企业自身业务需求或监管需求，不能轻易删除历史数据，因此，需对信息系统所产生的历史数据进行存储。传统一般采用结构化存储方式，每个存储周期将结构化历史数据全量备份保存于专门搭建的数据库、数据表中，或保存在增设的磁带库中。然而，随着大数据时代的到来，存储于数据库中的结构化历史数据量将飞速增长，从而导致数据库和磁带库消耗的存储资源将越来越大、存储成本将越来越高。

因此，提供一种能够减小存储资源消耗、降低存储成本的历史数据存储方法成为该领域亟需解决的问题。

发明内容

有鉴于此，本发明的目的在于提供一种历史数据存储方法和系统，以解决当前数据存储方式存在的存储资源消耗较大、存储成本较高的问题。

为此，本发明公开如下技术方案：

一种历史数据存储方法，包括：

依据预先制定的筛选策略对信息系统产生的结构化历史数据进行筛选，得到待归档的结构化历史数据，所述待归档的结构化历史数据包括至少一种类型的数据表；

依据预先设定的数据抽取策略获取所述待归档的结构化历史数据中每种类型数据表所属的数据抽取方式，其中，所述数据抽取方式包括增量抽取方式和全量抽取方式；

若相应类型数据表的抽取方式为增量抽取方式，则对所述类型数据表中的数据进行增量抽取，得到文本文件格式的增量数据；

若相应类型数据表的抽取方式为全量抽取方式，则对所述类型数据表中的数据进行全量抽取，得到文本文件格式的全量数据；

将所述文本文件格式的增量数据以及全量数据保存至存储设备。

上述方法，优选的，所述数据表的类型包括明细类、主档类和静态类。

上述方法，优选的，所述存储设备为磁盘存储设备。

上述方法，优选的，还包括：

分别为所述增量数据所在的文本文件以及所述全量数据所在文本文件配置元数据，所述元数据记录所述文本文件的属性信息。

上述方法，优选的，还包括：

对保存后的所述文本文件格式的数据进行归档管理，所述归档管理包括文件归档、权限管理、文件检索、文件下载、任务监控和元数据管理。

上述方法，优选的，还包括：

通过对保存后的所述文本文件格式的数据进行查询管理，实现对保存数据的再利用。

一种历史数据存储系统，包括筛选模块、获取模块、增量抽取模块、全量抽取模块以及保存模块，其中：

所述筛选模块，用于依据预先制定的筛选策略对信息系统产生的结构化历史数据进行筛选，得到待归档的结构化历史数据，所述待归档的结构化历史数据包括至少一种类型的数据表；

所述获取模块，用于依据预先设定的数据抽取策略获取所述待归档的结构化历史数据中每种类型数据表所属的抽取方式，其中，所述抽取方式包括增量抽取方式和全量抽取方式；

所述增量抽取模块，用于在相应类型数据表的抽取方式为增量抽取方式时，对所述类型数据表中的数据进行增量抽取，得到文本文件格式的增量数据；

所述全量抽取模块，用于在相应类型数据表的抽取方式为全量抽取方式时，对所述类型数据表中的数据进行全量抽取，得到文本文件格式的全量数据；

所述保存模块，用于将所述文本文件格式的增量数据以及全量数据保存至存储设备。

上述系统，优选的，还包括配置模块，所述配置模块用于分别为所述增量数据所在的文本文件以及所述全量数据所在文本文件配置元数据，所述元数据记录所述文本文件的属性信息。

上述系统，优选的，还包括归档管理模块，所述管理模块用于对保存后的所述文本文件格式的数据进行归档管理，所述归档管理包括文件归档、权限管理、表信息查询、文件检索、文件下载和元数据管理。

上述系统，优选的，还包括查询管理模块，所述查询管理模块用于通过对保存后的所述文本文件格式的数据进行查询管理，实现对保存数据的再利用。