[发明专利]一种数据库的数据压缩方法和装置

说明书

技术领域

本发明涉及计算机领域，特别是涉及一种数据库的数据压缩方法和装置。

背景技术

HBase(HadoopDatabase，Hadoop数据库)是一个高可靠性、高性能、 面向列、可伸缩的分布式存储系统，利用HBase技术可以在廉价的个人电脑 上搭建起大规模结构化存储集群。然而根据HBase(HadoopDatabase，Hadoop 数据库)的文件结构机制，为了精确定位查询数据位置，导致每个单元都会 重复存储行键RowKey。

对于键值对形式存储的非关系型的数据库或者缓存数据库来讲，键key 的长度成倍影响存储数据所占的存储容量。因此，Hbase数据库在提升查询 效率的同时，其存储机制会产生两个副作用：

首先，RowKey的重复存储会导致数据容量暴增，一般会有3-7倍的膨 胀，再加上HBase集群的高可靠性的特点，会将数据存储3份以应对节点故 障，这样整体上数据存储会膨胀9-21倍。

其次，由于数据膨胀导致入库和数据同步效率低下，并且膨胀的数据对 网络带宽的要求也很高。

综上所述，现有的键值对形式存储的非关系型的数据库，由于数据冗余 存在需要占用大量额外的内存的问题。

发明内容

本发明提供了一种数据库的数据压缩方法和装置，本发明提供的技术方 案能够解决现有的键值对形式存储的非关系型的数据库，，由于数据冗余存在 需要占用大量额外的内存的问题。

本发明公开了一种数据库的数据压缩方法，该方法包括：

当有源数据要存入数据库中时，判断所述源数据的数据类型是否属于数 字类型；

若所述源数据属于数字类型，将所述源数据转换成数字型字符串，根据 第一映射表对所述数字型字符串进行映射，得到缩位字符串；其中，所述第 一映射表中保存有00～99十进制的二位数字与一位字符的对应关系；

若所述源数据属于非数字类型，先根据第二映射表对非数字类型的源数 据进行映射，得到数字型字符串，然后再根据所述第一映射表对得到的所述 数字型字符串进行映射，得到缩位字符串；其中所述第二映射表中保存有非 数字类型的数据与数字型字符串的一一对应关系；

将得到的缩位字符串保存到数据库中。

可选的，该方法还包括：设置映射二维表；所述映射二维表中设置了源 数据的数据类型以及所述数据类型对应的映射方式；

所述当有源数据要存入数据库中时，判断所述源数据的数据类型之后包 括：

根据所述源数据的数据类型从所述映射二维表中获取对应的映射方式。

可选的，所述根据第一映射表对所述数字型字符串进行映射包括：

将数字型字符串从低位开始，按照两位一组进行分组，其中当所述数字 型字符串的位数不是偶数位时，对最高位进行补零；

根据所述第一映射表，依次将每组中的二位数字字符替换为一位字符。

可选的，所述若所述源数据属于非数字类型，先根据第二映射表对非数 字类型的源数据进行映射，得到数字型字符串，然后再根据所述第一映射表 对得到的所述数字型字符串进行映射，得到缩位字符串包括：

根据所述第二映射表，将源数据转换为对应的数字型字符串；

将所述数字型字符串从低位开始，按照两位一组进行分组，其中当所述 数字型字符串的位数不是偶数位时，对最高位进行补零；

根据所述第一映射表，依次将每组中的二位数字字符替换为一位字符。

可选的，若所述源数据为时间类型，所述将源数据转换成数字型字符串 包括：将时间类型的源数据转化为秒值；

将所述时间类型的源数据所在年份的1月1日作为基准值，将所述基准 值转化为基准秒值；

将所述秒值减去所述基准秒值得到的秒值差作为所述时间类型的源数据 的数字型字符串。

可选的，该方法还包括：当从数据库中读取数据时，根据查询条件对应 的数据类型，对所述查询条件进行对应的映射，得到查询映射结果；

根据所述查询映射结果在所述数据库中进行匹配查询；

如果匹配，则将返回的数据进行相应的逆映射，将得到的源数据输出。