[发明专利]基于对象存储的数据存储方法、装置和计算机设备

说明书

本申请涉及一种基于对象存储的数据存储方法、装置、计算机设备和存储介质。通过获取数据文件和索引文件，利用预设分块策略将待存储的数据分为至少一个数据块，将每个数据块的数据指纹发至去重服务器，去重服务器查询数据指纹是否存在并返回客户端查询结果，若否，客户端将数据指纹对应的数据块存储至数据文件，将存储位置发至去重服务器；是则将数据指纹写入索引文件，将数据文件和索引文件中的至少一种发至对象存储中进行存储。相较于传统的在存储数据时利用本地存储设备进行数据删除和存储，本方案利用数据指纹确定待存储的数据的存储文件类型，利用对象存储对数据进行存储，由于对象存储的高可靠和弹性扩展的特征，提高了数据存储的存储性能。

技术领域

本申请涉及数据处理技术领域，特别是涉及一种基于对象存储的数据存储方法、装置、计算机设备和存储介质。

背景技术

数据库是用于存储数据的一种数据集合，数据库中通常会存储有各种重要的数据，并且数据库中存储的数据通常会有重复数据，在对数据进行存储时，若重复的数据过多，会导致存储空间的利用效率下降，因此通常需要对重复的数据进行删除。目前当数据中存在重复数据时，通常是直接在本地存储设备，例如本地硬盘中进行数据删除，然而这种方法容易受到硬盘空间大小的限制，导致数据存储的性能较低。

因此，目前的数据存储方法存在存储性能低的缺陷。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高数据存储性能的基于对象存储的数据存储方法、装置、计算机设备和存储介质。

一种基于对象存储的数据存储方法，应用于客户端，所述方法包括：

响应于针对待存储的数据的数据存储请求，向去重服务器发送数据文件请求；所述数据文件请求用于指示所述去重服务器根据所述待存储的数据生成对应的待存储文件；所述数据包括至少一个数据块；所述待存储文件包括至少一种文件类型；

根据预设分块策略，将所述待存储的数据分为至少一个数据块；

针对每个所述数据块，获取该数据块对应的数据指纹，并将所述数据指纹发送至所述去重服务器；所述去重服务器用于查询所述数据指纹是否存在并返回查询结果；

根据所述查询结果，将所述数据块和/或所述数据指纹存储至对应文件类型的待存储文件；

将所述待存储文件发送至对象存储中进行存储。

在其中一个实施例中，所述待存储文件的文件类型包括：待存储的数据文件以及待存储的索引文件；所述待存储的数据文件用于存储所述待存储的数据；所述待存储的索引文件用于存储所述待存储的数据对应的数据指纹；

所述根据所述查询结果，将所述数据块和/或所述数据指纹存储至对应文件类型的待存储文件，包括：

若查询结果为否，将所述数据指纹对应的数据块存储至所述数据文件，将所述数据指纹写入所述索引文件，并将所述数据块在所述数据文件中的存储位置发送至所述去重服务器，否则将所述数据指纹写入所述索引文件。

在其中一个实施例中，所述将所述数据指纹对应的数据块存储至所述数据文件之后，还包括：

若所述数据文件的剩余存储空间小于所述待存储的数据中的数据块的数据大小，将所述数据文件发送至所述对象存储进行存储；

向所述去重服务器发送所述存储位置以及新的数据文件请求；所述去重服务器用于将所述存储位置存储至所述数据文件对应的元数据中，并向所述客户端发送新的待存储的数据文件。

在其中一个实施例中，还包括：

响应于数据读取指令，从所述对象存储中获取所述数据读取指令对应的索引文件；