[发明专利]数据压缩方法、装置和系统在审
申请号: | 202211230430.3 | 申请日: | 2022-09-30 |
公开(公告)号: | CN115657940A | 公开(公告)日: | 2023-01-31 |
发明(设计)人: | 王大瑶 | 申请(专利权)人: | 北京百度网讯科技有限公司 |
主分类号: | G06F3/06 | 分类号: | G06F3/06 |
代理公司: | 北京猷德知识产权代理有限公司 16084 | 代理人: | 范继晨 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据压缩 方法 装置 系统 | ||
1.一种数据压缩方法,包括:
响应于数据压缩指令,确定所述数据压缩指令对应的待压缩数据;
基于当前存储有所述待压缩数据的原始存储设备的原始存储空间,从多个存储设备的多个存储空间中确定所述待压缩数据对应的目标存储设备的目标存储空间,其中,所述多个存储设备的存储速度不同,所述多个存储空间至少包括用于存储不同访问频率数据的存储空间;
将所述待压缩数据存储至所述目标存储设备的所述目标存储空间;
释放所述原始存储设备的所述原始存储空间。
2.根据权利要求1所述的方法,其中,所述多个存储设备包括:第一存储设备和第二存储设备,所述第一存储设备包含热数据存储空间和冷数据存储空间,所述第二存储设备包含热数据存储空间、冷数据存储空间、第一数据存储空间和多个第二数据存储空间,其中,所述第一存储设备的存储速度大于所述第二存储设备的存储速度,所述第一数据存储空间和所述多个第二数据存储空间的数据来源不同,所述多个第二数据存储空间存储的数据对应的压缩时间不同。
3.根据权利要求2所述的方法,其中,所述基于当前存储有所述待压缩数据的原始存储设备的原始存储空间,从多个存储设备的多个存储空间中确定所述待压缩数据对应的目标存储设备的目标存储空间包括:
响应于所述原始存储空间为所述热数据存储空间,确定所述目标存储设备为所述第二存储设备,所述目标存储空间为所述第一数据存储空间;
响应于所述原始存储空间为所述冷数据存储空间、所述第一数据存储空间或所述多个第二数据存储空间中的任意一个,确定所述目标存储设备为所述第二存储设备,并基于所述待压缩数据的压缩时间,从所述多个第二数据存储空间中确定所述目标存储空间。
4.根据权利要求2所述的方法,其中,响应于所述数据压缩指令来自于所述第一存储设备,所述确定所述数据压缩指令对应的待压缩数据包括:
遍历所述第一存储设备中的数据的反向索引,确定所述第一存储设备中的数据对应的第一索引信息;
确定所述第一索引信息中的有效索引信息,其中,所述有效索引信息在所述反向索引中记录的偏移与正向索引中记录的偏移相同;
确定与所述有效索引信息具有关联关系的关联索引信息;
响应于所述关联索引信息对应的关联数据存储在所述第一存储设备中,将所述关联索引信息对应的关联数据和所述有效索引信息对应的有效数据进行合并,得到所述待压缩数据;
响应于所述关联索引信息对应的关联数据未存储在所述第一存储设备中,确定所述待压缩数据为所述有效索引信息对应的有效数据。
5.根据权利要求4所述的方法,其中,所述确定与所述有效索引信息具有关联关系的关联索引信息包括:
获取与所述有效索引信息相邻的目标索引信息;
响应于所述目标索引信息对应的数据存储于所述第一存储设备中,确定所述关联索引信息包含所述目标索引信息;
将所述目标索引信息作为所述有效索引信息,并重复执行获取所述目标索引信息,及响应于所述目标索引信息对应的数据存储于所述第一存储设备中,确定所述关联索引信息包含所述目标索引信息的步骤,直至所述目标索引信息对应的数据未存储于所述第一存储设备中。
6.根据权利要求2所述的方法,其中,响应于所述数据压缩指令来自于所述第二存储设备,所述确定所述数据压缩指令对应的待压缩数据包括:
确定所述数据压缩指令对应的待压缩数据段;
遍历所述待压缩数据段的反向索引,确定所述待压缩数据段的对应的第二索引信息;
获取所述第二存储设备中所述第二索引信息对应的数据,得到所述待压缩数据。
7.根据权利要求1至6中任意一项所述的方法,还包括:
接收来自于客户端的写数据请求,其中,所述写数据请求中携带有待存储数据;
基于所述待存储数据的数据量和访问频率,从所述多个存储设备的所述多个存储空间中确定所述待存储数据对应的待存储设备的待存储空间;
将所述待存储数据存储至所述目标存储设备的所述目标存储空间。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司,未经北京百度网讯科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202211230430.3/1.html,转载请声明来源钻瓜专利网。