[发明专利]一种数据压缩方法及装置

说明书

本申请实施例提供了一种数据压缩方法及装置。所述方法包括：对索引库数据进行分析，从中选择目标数据；根据所述目标数据生成压缩配置文件；根据所述压缩配置文件对所述目标数据进行压缩。可以从索引库中选择冷数据或者规律业务数据作为目标数据。并根据目标数据的特点生成包括时间节点和压缩算法的压缩配置文件。同时本申请进一步包括了一种解压方法，针对规律业务数据可以提前进行解压，提高集群索引效率。通过高压缩率的压缩算法对这些数据进行压缩并有规律地解压缩，在保证索引集合可用性的同时尽可能大的降低了数据的磁盘占用，提高了数据的存储效率。

技术领域

本申请涉及数据处理领域，尤其涉及一种数据压缩方法及装置。

背景技术

当前，随着计算机技术的发展，数据搜索的要求也越来越高。其中，solr云是一种分布式搜索方案，是一个高性能，采用Java开发，基于Lucene的全文搜索服务器。同时对其进行了扩展，提供了比Lucene更为丰富的查询语言，同时实现了可配置、可扩展并对查询性能进行了优化，并且提供了一个完善的功能管理界面，是一款非常优秀的全文搜索引擎。，可以实现企业级的数据搜索。可以处理大索引量，高并发的搜索请求。

现有的solr集群系统中，可以将数据存储至服务器本地的数据库中。由于存储的数据量较大，因此solr数据存储可以自带LZ4压缩算法，将存储的本地数据压缩后进行存储，以节省存储空间。LZ4压缩算法具有压缩/解压速率较快的特点，在进行索引查询时可以快速响应查询请求。

但是LZ4算法为了提高压缩速率，降低了算法的压缩率。即压缩后的数据依旧会占用较大的存储空间。

发明内容

有鉴于此，本申请实施例提供了一种数据压缩方法及装置，旨在对solr集群中的部分数据进行二次压缩，进一步节省存储空间。

为了实现上述目的，本发明提供了以下技术方案：

一种数据压缩方法，所述方法包括：

对索引库数据进行分析，从中选择目标数据；其中，所述目标数据包括冷数据和/或规律业务数据；冷数据为使用频率低于阈值的数据，所述规律业务数据的处理具有明确的时间规律。

根据所述目标数据生成压缩配置文件；其中，所述压缩配置文件包括具有高压缩率的压缩算法；

根据所述压缩配置文件对所述目标数据进行压缩。

可选地，所述压缩配置文件包括高压缩率的压缩算法压缩设定参数；所述压缩设定参数包括目标数据存储位置和压缩配置文件

可选地，所述根据压缩配置文件对所述目标数据进行压缩包括：

在所述压缩时间节点触发压缩启动指令；

在所述压缩启动指令触发后，根据所述目标数据存储位置查找目标数据；

根据所述压缩算法对所述目标数据进行压缩。

可选地，所述压缩配置文件还包括解压时间节点。

可选地，所述方法还包括：

在所述解压时间节点触发解压启动指令；

在所述解压启动指令触发后，根据所述目标数据存储位置查找目标数据；

根据所述压缩算法对所述目标数据进行解压缩。

可选地，所述压缩算法包括具有高压速率的gzip、lzo压缩算法。

可选地，所述方法应用于solr存储集群。

一种数据压缩装置，所述装置包括：

数据选择模块，用于选择所述目标数据；