[发明专利]一种文件处理方法、装置及系统

说明书

本申请提供了一种文件处理方法，该方法提出了一种新型的数据存储方式，该数据存储方式主要依赖于数据指纹库和文件信息库来实现数据存储，数据指纹库和文件信息库两者之间通过数据指纹进行关联，基于此，当需要存储某个文件时，将文件分割成低纬度的数据块，然后基于数据块来判断存储系统中是否已存储有相同数据，进而对于相同数据则不再重复存储，只需要再文件信息库中记录该文件与该数据块之间的相关关系即可，这样就能够极大地减小重复文件或者相似文件在存储系统中占用的空间，节约存储资源，提供存储空间利用率，以缓解大数据存储压力。另外，本申请还提供了对应的装置和设备。

技术领域

本申请涉及数据存取技术领域，尤其涉及一种文件处理方法、装置及设备。

背景技术

随着大数据技术的发展与普及，各行各业都面临着大数据的存储压力。而面对不断增长的数据存储压力，大部分存储系统只能通过提升存储容量的方式来应对该问题。

然而提升存储容量的方式也只有两种，一种是在存储系统中增加更多磁盘，另一种是更换高容量版本的磁盘，但这种方式不仅受到磁盘技术的限制，增加了企业的经济成本，还增加了存储系统对磁盘的管理难度。

因此，目前亟需提供一种文件处理方法能够在不增加硬件成本的基础上，缓解大数据存储压力，以应对不断增长的数据存储需求。

发明内容

本申请实施例提供了一种文件处理方法，该方法通过将文件分割成多个小的数据块的方式，以数据块的维度进行文件存储，并且在存储时是基于数据块的数据指纹先进行数据匹配，以使存储系统对于相同数据仅存储一次，不再重复存储，从而能够极大地减小重复文件或者相似文件在存储系统中占用的空间，节约存储资源，提供存储空间利用率，以缓解大数据存储压力。

在本申请第一方面提供一种文件处理方法，其特征在于，所述方法包括：

获取待存储的文件；

对所述文件进行数据分割得到有序的多个数据块；

针对所述多个数据块中的每个数据块，利用哈希算法进行加密得到所述数据块对应的数据指纹；

将所述数据块对应的数据指纹与数据指纹库中的数据指纹进行匹配，所述数据指纹库用于记录存储系统已存储的数据块对应的存储地址以及数据块对应的数据指纹的关联关系；

若匹配成功，则将所述数据块对应的数据指纹、所述数据块对应的块顺序以及所述文件的唯一标识三者之间的关联关系记录在文件信息库中，所述块顺序用于表征所述数据块在所述文件中的位置顺序。

可选的，所述方法还包括：

若匹配失败，则将所述数据块存储于所述存储系统中，将所述数据块在所述存储系统中的存储地址以及所述数据块对应的数据指纹记录在所述数据指纹库中，并将所述数据块对应的数据指纹、所述数据块对应的块顺序以及所述文件的唯一标识三者之间的关联关系记录在文件信息库记录在所述文件信息库中。

可选的，所述利用哈希算法进行加密得到所述数据块对应的数据指纹，包括：

利用一种哈希算法对所述数据块进行加密得到一个哈希值，将所述一个哈希值作为所述数据块对应的数据指纹。

可选的，所述利用哈希算法进行加密得到所述数据块对应的数据指纹，包括：

利用多种哈希算法分别对所述数据块进行加密得到多个哈希值，将所述多个哈希值组合生成一个数值，将所述数值作为所述数据块对应的数据指纹。

可选的，所述方法还包括：

接收文件下载请求，所述文件下载请求中包括待下载文件的唯一标识；

根据所述待下载文件的唯一标识，从所述文件信息库中获取与所述待下载文件相关联的数据块的数据指纹以及数据块的块顺序；