[发明专利]一种Hbase数据库中数据压缩的方法、装置、设备及介质

说明书

本发明提供了一种Hbase数据库中数据压缩的方法、装置、设备及可读介质，该方法包括：响应于Hbase数据库的写缓存中的数据flush，将数据存储到存储器中的第一区域中；响应于第一区域中的数据超过第一阈值，将第一区域中的数据合并成一个大数据；响应于第一区域中的数据超过第二阈值，将第一区域中的数据进行合并，并计算合并后的数据的key值，并将第一区域中合并后的数据存储到第二区域中key值对应的key值区间对应的存储空间中；每经过第二区域的阈值时间后，将第二区域中各个key值区间中的数据各自合并后存储到第三区域中对应的key值区间对应的存储空间中，依次类推，直到将数据存储到第六区域中。通过使用本发明的方案，能够可以增加I/O的使用率。

技术领域

本发明涉及计算机领域，并且更具体地涉及一种Hbase数据库中数据压缩的方法、装置、设备及可读介质。

背景技术

HBase数据库(是一个分布式的、面向列的开源数据库，可存储海量数据，底层数据文件存储在HDFS中)作为大数据领域常用的分布式数据库，其支持千亿行、百万列的数据存储，每当memstore(写缓存)的数据flush(把缓冲区的内容强制的写出)到磁盘后，就形成一个storefile，当storefile的数量越来越大时，会严重影响Hbase数据库的读性能，所以必须将过多的storefile文件进行合并操作。

发明内容

有鉴于此，本发明实施例的目的在于提出一种Hbase数据库中数据压缩的方法、装置、设备及可读介质，通过使用本发明的技术方案，能够可以增加I/O的使用率，不需要对大量数据文件执行压缩操作，对于有备份要求的数据有天然的优势。

基于上述目的，本发明的实施例的一个方面提供了一种Hbase数据库中数据压缩的方法，包括以下步骤：

响应于Hbase数据库的写缓存中的数据flush，将数据存储到存储器中的第一区域中；

响应于第一区域中的数据超过第一阈值，将第一区域中的数据合并成一个大数据；

响应于第一区域中的数据超过第二阈值，将第一区域中的数据进行合并，并计算合并后的数据的key值，并将第一区域中合并后的数据存储到第二区域中key值对应的key值区间对应的存储空间中；

每经过第二区域的阈值时间后，将第二区域中各个key值区间中的数据各自合并后存储到第三区域中对应的key值区间对应的存储空间中，每经过第三区域的阈值时间后，将第三区域中各个key值区间中的数据各自合并后存储到第四区域中对应的key值区间对应的存储空间中，依次类推，直到将数据存储到第六区域中。

根据本发明的一个实施例，还包括：

将存储器划分成六个区域，六个区域分别为第一区域、第二区域、第三区域、第四区域、第五区域和第六区域；

将第二区域、第三区域、第四区域、第五区域和第六区域的存储空间按照key值的区间划分成若干个小的存储空间。

根据本发明的一个实施例，响应于第一区域中的数据超过第一阈值，将第一区域中的数据合并成一个大数据包括：

使用第一区域中数据的总大小除于文件数得到计算值；

判断计算值是否超过设定的第一阈值；

响应于计算值超过第一阈值，将第一区域中的数据合并成一个大数据。

根据本发明的一个实施例，响应于第一区域中的数据超过第二阈值，将第一区域中的数据进行合并，并计算合并后的数据的key值，并将第一区域中合并后的数据存储到第二区域中key值对应的key值区间对应的存储空间中包括：

响应于第一区域中的数据总量达到第一区域的存储空间的80％，将第一区域中的数据进行合并；

通过计算合并后的数据的hash值以得到合并后的数据的key值；