[发明专利]一种日志采集数据压缩方法、解压缩方法及装置

权利要求书

1.一种日志采集数据压缩方法，其特征在于，包括：

获取日志采集数据；

分别对所述日志采集数据中各属性字段的各属性值进行编码，得到与每个属性值对应的压缩编码；

使用得到的所述压缩编码，替换所述日志采集数据中对应的属性值，得到压缩后的日志采集数据。

2.如权利要求1所述的方法，其特征在于，分别对所述日志采集数据中各属性字段的各属性值进行编码，得到与每个属性值对应的压缩编码，具体包括：

针对所述日志采集数据中的每个属性字段的各属性值，具体采用如下方式进行编码：

分别统计该属性字段的各属性值在所述日志采集数据中出现的次数；

根据各属性值在所述日志采集数据中出现的次数，对该属性字段的各属性值进行编码，得到与各属性值分别对应的压缩编码，其中，出现的次数大的属性值对应的压缩编码的数据量，不大于出现的次数小的属性值对应的压缩编码的数据量。

3.如权利要求2所述的方法，其特征在于，根据各属性值在所述日志采集数据中出现的次数，对该属性字段的各属性值进行编码，得到与各属性值分别对应的压缩编码，具体包括：

根据各属性值在所述日志采集数据中出现的次数，构建二叉树，其中，所述二叉树中的各叶子节点，分别对应表征各属性值在所述日志采集数据中出现的次数，且所述二叉树中的父节点表征的数值，为该父节点的两个子节点表征数值的和值，且所述二叉树中每个节点表征的数值，不小于该节点所属等级的下一级节点表征的数值；

确定所述二叉树中叶子节点对应的属性值的压缩编码为，将从根节点到该叶子节点的路径所包括的各子树分别对应的弧值，进行排列得到的二进制编号；

其中，所述二叉树中节点的左子树的弧值为0，右子树的弧值为1；或者所述二叉树中节点的左子树的弧值为1，右子树的弧值为0。

4.如权利要求3所述的方法，其特征在于，在确定所述二叉树中叶子节点对应的属性值的压缩编码之后，还包括：

生成该属性字段的各属性值的编码表，所述编码表中包括所述二叉树的信息，以及所述二叉树的各叶子节点分别与各属性值的对应关系。

5.一种日志采集数据解压缩方法，其特征在于，包括：

获取压缩后的日志采集数据，和未压缩的日志采集数据中各属性字段的各属性值的编码表；

使用所述编码表中与各压缩编码分别对应的属性值，替换所述压缩后的日志采集数据中对应的压缩编码，得到解压缩后的日志采集数据。

6.如权利要求5所述的方法，其特征在于，所述编码表中包括与各压缩字段分别对应的二叉树，且每个二叉树中的各叶子节点，分别对应该二叉树对应属性字段的各属性值，且该二叉树中节点的左子树的弧值为0，右子树的弧值为1，或者该二叉树中节点的左子树的弧值为1，右子树的弧值为0；

使用所述编码表中与各压缩编码分别对应的属性值，替换所述压缩后的日志采集数据中对应的压缩编码，具体包括：

针对所述压缩后的日志采集数据中的每个属性字段的每个压缩编码，具体采用如下方式进行解压缩处理：

查询该属性字段对应的二叉树，确定该属性字段的该压缩编码对应的叶子节点，其中，将从根节点到该对应的叶子节点的路径所包括的各子树分别对应的弧值，进行排列得到的二进制编号，与该压缩编码相同；

使用该压缩编码对应的叶子节点对应的属性值，替换该压缩后的日志采集数据中的该压缩编码。

7.一种日志采集数据压缩装置，其特征在于，包括：

第一获取单元，用于获取日志采集数据；

第一压缩处理单元，用于分别对所述日志采集数据中各属性字段的各属性值进行编码，得到与每个属性值对应的压缩编码；

第二压缩处理单元，用于使用得到的所述压缩编码，替换所述日志采集数据中对应的属性值，得到压缩后的日志采集数据。

8.如权利要求7所述的装置，其特征在于，所述第一压缩处理单元，具体用于针对所述日志采集数据中的每个属性字段的各属性值，采用如下方式进行编码：

分别统计该属性字段的各属性值在所述日志采集数据中出现的次数；

根据各属性值在所述日志采集数据中出现的次数，对该属性字段的各属性值进行编码，得到与各属性值分别对应的压缩编码，其中，出现的次数大的属性值对应的压缩编码的数据量，不大于出现的次数小的属性值对应的压缩编码的数据量。