[发明专利]一种数据处理方法、装置、设备及存储介质

说明书

本发明公开了一种数据处理方法，该方法包括以下步骤：在达到对目标数据进行写入的触发条件时，确定当前业务场景；根据业务场景，确定针对目标数据的目标压缩算法；使用目标压缩算法，对目标数据进行压缩处理，获得目标数据对应的待写入数据；将待写入数据写入到目标日志文件中。应用本发明实施例所提供的技术方案，针对不同的业务场景选择不同的压缩算法对要写入的数据进行压缩，对于有的数据可牺牲压缩率以保证压缩性能，对于有的数据可牺牲压缩性能保证压缩率，可以实现压缩率和压缩性能的平衡。本发明还公开了一种数据处理装置、设备及存储介质，具有相应技术效果。

技术领域

本发明涉及计算机应用技术领域，特别是涉及一种数据处理方法、装置、设备及存储介质。

背景技术

随着计算机技术和互联网技术的快速发展，各行各业的业务数据量不断增长，对数据中心的存储容量的需求不断增加。同时，云计算、在线支付、移动社交等实时交互应用对数据中心的存储系统的访问性能、时延的要求也越来越高。于是，数据中心从采用传统机械硬盘构建存储系统的方案逐渐转变为采用全闪存方案。全闪存系统能够提供较高的IOPS(Input/Output Operations Per Second，每秒的输入输出量)、较低的IO(Input/Output，输入输出)访问时延和较高的访问吞吐量，多应用在如金融证券、在线交易、电子商务、网络购票等场景中。

然而，全闪存系统也面临着价格高、容量小和写/擦除周期受限等缺点。因此，在全闪存系统中，通常会对数据进行压缩处理后存储，以节省存储空间，降低每GB的实际成本。但是，目前一味追求高的压缩率，使得有的数据的压缩性能下降。

发明内容

本发明的目的是提供一种数据处理方法、装置、设备及存储介质，以实现压缩率和压缩性能的平衡。

为解决上述技术问题，本发明提供如下技术方案：

一种数据处理方法，包括：

在达到对目标数据进行写入的触发条件时，确定当前业务场景；

根据所述业务场景，确定针对所述目标数据的目标压缩算法；

使用所述目标压缩算法，对所述目标数据进行压缩处理，获得所述目标数据对应的待写入数据；

将所述待写入数据写入到目标日志文件中。

在本发明的一种具体实施方式中，所述使用所述目标压缩算法，对所述目标数据进行压缩处理，获得所述目标数据对应的待写入数据，包括：

使用所述目标压缩算法，对所述目标数据进行压缩处理，获得压缩处理结果；

根据所述压缩处理结果，确定所述目标数据对应的待写入数据。

在本发明的一种具体实施方式中，所述根据所述压缩处理结果，确定所述目标数据对应的待写入数据，包括：

根据所述压缩处理结果，确定对所述目标数据进行压缩处理的压缩率；

如果所述压缩率高于预设第一压缩率阈值，则将对所述目标数据进行压缩处理后得到的压缩数据确定为待写入数据；

否则，将所述目标数据确定为待写入数据。

在本发明的一种具体实施方式中，还包括：

在要读取待读取数据块时，查询所述待读取数据块的物理地址；

通过查询得到的物理地址，在相应的日志文件中读取所述待读取数据块，每个日志文件中的每个数据块的头部均至少包含压缩参数字段；

根据所述待读取数据块的头部包含的压缩参数字段，对所述待读取数据块进行解压缩处理，获得所述待读取数据块对应的常规数据。