[发明专利]数据压缩、解压方法和装置在审
申请号: | 201910272327.7 | 申请日: | 2019-04-04 |
公开(公告)号: | CN111782734A | 公开(公告)日: | 2020-10-16 |
发明(设计)人: | 司宏杰;王力;凌民光;彭柳青;邱晨健 | 申请(专利权)人: | 华为技术服务有限公司 |
主分类号: | G06F16/28 | 分类号: | G06F16/28;G06F16/174 |
代理公司: | 北京同立钧成知识产权代理有限公司 11205 | 代理人: | 荣甜甜;刘芳 |
地址: | 065000 河北省*** | 国省代码: | 河北;13 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据压缩 解压 方法 装置 | ||
1.一种数据压缩方法,其特征在于,所述方法用于压缩在线分析处理OLAP数据,所述OLAP数据包括多个度量值以及多个维度中每个维度的关键字,所述每个维度包括多个关键字,所述多个度量值中的每个度量值对应一组关键字,所述一组关键字包括来自所述多个维度中的每个维度的一个关键字,所述方法包括:
在所述OLAP数据的所有维度中确定至少一个第一维度,所述第一维度上每个关键字对应的度量值之间的差异在预设范围内;所述所有维度中除所述第一维度外的维度为第二维度;
以所述第二维度中每个维度的任一关键字作为压缩模型的输入,以所述第一维度中每个维度的任一关键字以及所述第二维度中每个维度的任一关键字形成的一组关键字对应的度量值作为所述压缩模型的输出,对所述压缩模型进行训练,得到训练后的压缩模型;
存储所述训练后的压缩模型以及所述多个维度中每个维度的关键字。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据所述OLAP数据中所述一组关键字对应的度量值以及将所述一组关键字输入所述压缩模型输出得到的度量值,计算所述OLAP数据中每个度量值的残差;
存储所述OLAP数据中的每一组关键字对应的度量值的残差。
3.一种数据压缩方法,其特征在于,所述方法用于压缩在线分析处理OLAP数据,所述OLAP数据包括多个度量值以及多个维度中每个维度的关键字,所述每个维度包括多个关键字,所述多个度量值中的每个度量值对应一组关键字,所述一组关键字包括来自所述多个维度中的每个维度的一个关键字,所述方法包括:
从所述OLAP数据的多个度量值中确定至少M个度量值作为码本,所述M为大于1的整数;
为所述OLAP数据的每个度量值,在所述码本中确定出对应的至少一个第一度量值,计算所述OLAP数据的每个度量值与对应的至少一个第一度量值的线性变换向量,所述线性变换向量用于描述所述OLAP数据的每个度量值与对应的至少一个第一度量值之间的数值关系;
存储所述码本、所述OLAP数据的每一组关键字对应的线性变换向量以及各线性变换向量对应的至少一个第一度量值。
4.一种数据解压方法,其特征在于,所述方法用于解压被压缩的OLAP数据,所述被压缩的OLAP数据包括压缩模型以及所述被压缩的OLAP数据的多个维度中每个维度的关键字;所述方法包括:
将所述被压缩的OLAP数据的每一组关键字输入所述压缩模型,获取所述每一组关键字对应的度量值;所述每一组关键字包括来自所述多个维度中的每个维度的一个关键字;
存储所述多个维度中每个维度的关键字以及所述每一组关键字对应的度量值。
5.根据权利要求4所述的方法,其特征在于,所述被压缩的OLAP数据还包括所述每一组关键字对应的度量值的残差;所述存储所述多个维度中每个维度的关键字以及所述每一组关键字对应的度量值之前,所述方法还包括:
根据所述每一组关键字对应的度量值的残差和所述每一组关键字对应的度量值,修正所述每一组关键字对应的度量值;
所述存储所述多个维度中每个维度的关键字以及所述每一组关键字对应的度量值,包括:
存储所述多个维度中每个维度的关键字以及修正后的每一组关键字对应的度量值。
6.一种数据解压方法,其特征在于,所述方法用于解压被压缩的OLAP数据,所述被压缩的OLAP数据包括码本、所述被压缩的OLAP数据的每一组关键字对应的线性变换向量以及各线性变换向量在所述码本中对应的至少一个第一度量值,所述每一组关键字包括来自所述被压缩的OLAP数据的多个维度中的每个维度的一个关键字;所述方法包括:
根据所述被压缩的OLAP数据的每一组关键字对应的线性变换向量以及各线性变换向量对应的至少一个第一度量值,获取所述每一组关键字对应的度量值;
存储所述多个维度中每个维度的关键字以及所述每一组关键字对应的度量值。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华为技术服务有限公司,未经华为技术服务有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910272327.7/1.html,转载请声明来源钻瓜专利网。
- 上一篇:异常话单确定方法、装置、设备及存储介质
- 下一篇:液压锁紧系统和饮品机