[发明专利]一种数据处理方法、装置、电子设备以及存储介质在审
申请号: | 202011281592.0 | 申请日: | 2020-11-16 |
公开(公告)号: | CN112383312A | 公开(公告)日: | 2021-02-19 |
发明(设计)人: | 孟川荣;卢祚 | 申请(专利权)人: | 北京百度网讯科技有限公司 |
主分类号: | H03M7/30 | 分类号: | H03M7/30 |
代理公司: | 北京品源专利代理有限公司 11332 | 代理人: | 孟金喆 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据处理 方法 装置 电子设备 以及 存储 介质 | ||
本申请公开了一种数据处理方法、装置、电子设备以及存储介质,涉及云计算技术领域,进一步涉及分布式数据存储技术。具体实现方案为:根据数据存储端中候选业务数据的属性信息,从所述候选业务数据中选择待压缩业务数据;生成携带有所述待压缩业务数据的离线压缩请求;向数据处理端发送所述离线压缩请求,用于指示所述数据处理端对所述待压缩业务数据进行离线压缩,且向所述数据存储端反馈压缩结果;采用压缩结果替换数据存储端中的所述待压缩业务数据。本申请能够降低数据存储端(例如分布式存储系统)的数据存储成本,为分布式存储系统合理存储数据提供了一种新思路。
技术领域
本申请涉及计算机技术领域,尤其涉及云计算技术,具体涉及一种数据处理方法、装置、电子设备以及存储介质。
背景技术
目前进行分布式存储,通常是获取到数据后直接写入分布式存储系统中。随着时间推移,存储到分布式存储系统中的数据量越来越大,由于分布式存储系统的存储空间有限,现有的分布式存储系统难以满足大量数据的存储需求,亟需改进。
发明内容
本公开提供了一种数据处理方法、装置、电子设备以及存储介质。
根据本公开的一方面,提供了一种数据处理方法,该方法包括:
根据数据存储端中候选业务数据的属性信息,从所述候选业务数据中选择待压缩业务数据;
生成携带有所述待压缩业务数据的离线压缩请求;
向数据处理端发送所述离线压缩请求,用于指示所述数据处理端对所述待压缩业务数据进行离线压缩,且向所述数据存储端反馈压缩结果;
采用压缩结果替换数据存储端中的所述待压缩业务数据。
根据本公开的另一方面,提供了一种数据处理方法,该方法包括:
获取数据存储端发送的携带有待压缩业务数据的离线压缩请求,所述待压缩业务数据基于数据存储端中候选业务数据的属性信息,从所述后续按业务数据中选择;
对所述待压缩业务数据进行离线压缩,并向所述数据存储端反馈压缩结果。
根据本公开的另一方面,提供了一种数据处理装置,该装置包括:
数据选择模块,用于根据数据存储端中后续按业务数据的属性信息,从所述候选业务数据中选择待压缩业务数据;
离线请求生成模块,用于生成携带有所述待压缩业务数据的离线压缩请求;
离线请求发送模块,用于向数据处理端发送所述离线压缩请求,用于指示所述数据处理端对所述待压缩业务数据进行离线压缩,且向所述数据存储端反馈压缩结果;
数据写入模块,用于采用压缩结果替换数据存储端中的所述待压缩业务数据。
根据本公开的另一方面,提供了一种数据处理装置,该装置包括:
离线请求获取模块,用于获取数据存储端发送的携带有待压缩业务数据的离线压缩请求,所述待压缩业务数据基于数据存储端中候选业务数据的属性信息,从所述候选业务数据中选择;
离线压缩模块,用于对所述待压缩业务数据进行离线压缩,并向所述数据存储端反馈压缩结果。
根据本公开的另一方面,提供了一种电子设备,该电子设备包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行本申请任一实施例所述的数据处理方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司,未经北京百度网讯科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011281592.0/2.html,转载请声明来源钻瓜专利网。