[发明专利]一种Hbase数据库中数据压缩的方法、装置、设备及介质

权利要求书

1.一种Hbase数据库中数据压缩的方法，其特征在于，包括以下步骤：

响应于Hbase数据库的写缓存中的数据flush，将数据存储到存储器中的第一区域中；

响应于第一区域中的数据超过第一阈值，将第一区域中的数据合并成一个大数据；

响应于第一区域中的数据超过第二阈值，将第一区域中的数据进行合并，并计算合并后的数据的key值，并将第一区域中合并后的数据存储到第二区域中所述key值对应的key值区间对应的存储空间中；

每经过第二区域的阈值时间后，将第二区域中各个key值区间中的数据各自合并后存储到第三区域中对应的key值区间对应的存储空间中，每经过第三区域的阈值时间后，将第三区域中各个key值区间中的数据各自合并后存储到第四区域中对应的key值区间对应的存储空间中，依次类推，直到将数据存储到第六区域中。

2.根据权利要求1所述的方法，其特征在于，还包括：

将存储器划分成六个区域，所述六个区域分别为第一区域、第二区域、第三区域、第四区域、第五区域和第六区域；

将所述第二区域、第三区域、第四区域、第五区域和第六区域的存储空间按照key值的区间划分成若干个小的存储空间。

3.根据权利要求1所述的方法，其特征在于，响应于第一区域中的数据超过第一阈值，将第一区域中的数据合并成一个大数据包括：

使用第一区域中数据的总大小除于文件数得到计算值；

判断计算值是否超过设定的第一阈值；

响应于计算值超过第一阈值，将第一区域中的数据合并成一个大数据。

4.根据权利要求1所述的方法，其特征在于，响应于第一区域中的数据超过第二阈值，将第一区域中的数据进行合并，并计算合并后的数据的key值，并将第一区域中合并后的数据存储到第二区域中所述key值对应的key值区间对应的存储空间中包括：

响应于第一区域中的数据总量达到第一区域的存储空间的80％，将第一区域中的数据进行合并；

通过计算合并后的数据的hash值以得到合并后的数据的key值；

将第一区域中合并后的数据存储到第二区域中计算的key值对应的key值区间对应的存储空间中。

5.一种Hbase数据库中数据压缩的装置，其特征在于，所述装置包括：

存储模块，所述存储模块配置为响应于Hbase数据库的写缓存中的数据flush，将数据存储到存储器中的第一区域中；

合并模块，所述合并模块配置为响应于第一区域中的数据超过第一阈值，将第一区域中的数据合并成一个大数据；

计算模块，所述计算模块配置为响应于第一区域中的数据超过第二阈值，将第一区域中的数据进行合并，并计算合并后的数据的key值，并将第一区域中合并后的数据存储到第二区域中所述key值对应的key值区间对应的存储空间中；

处理模块，所述处理模块配置为每经过第二区域的阈值时间后，将第二区域中各个key值区间中的数据各自合并后存储到第三区域中对应的key值区间对应的存储空间中，每经过第三区域的阈值时间后，将第三区域中各个key值区间中的数据各自合并后存储到第四区域中对应的key值区间对应的存储空间中，依次类推，直到将数据存储到第六区域中。

6.根据权利要求5所述的装置，其特征在于，还包括划分模块，所述划分模块配置为：

将存储器划分成六个区域，所述六个区域分别为第一区域、第二区域、第三区域、第四区域、第五区域和第六区域；

将所述第二区域、第三区域、第四区域、第五区域和第六区域的存储空间按照key值的区间划分成若干个小的存储空间。

7.根据权利要求5所述的装置，其特征在于，所述合并模块还配置为：

使用第一区域中数据的总大小除于文件数得到计算值；

判断计算值是否超过设定的第一阈值；

响应于计算值超过第一阈值，将第一区域中的数据合并成一个大数据。