[发明专利]文件的存储方法、装置和服务器

说明书

本说明书提供了文件的存储方法、装置和服务器。Hadoop集群中的节点服务器在获取待存储的目标文件之后，先根据预设的分片规则，将目标文件的明文数据按顺序切分为多个分片数据；同时，确定并根据各个分片数据关于目标文件的关联参数，为各个分片数据设置对应的关联标识；再调用HDFS分布式文件系统中的多个处理节点，利用预设的加密规则，并行对多个分片数据分别进行加密处理，得到多个分片数据的密文数据；根据关联标识，按顺序合并多个分片数据的密文数据，得到目标文件的密文数据，并进行存储。从而可以充分利用HDFS分布式文件系统的分布式特性，通过并行的方式，安全、高效地对数据量较大的目标文件加密后再进行云存储。

技术领域

本说明书属于大数据技术领域，尤其涉及文件的存储方法、装置和服务器。

背景技术

随着云存储服务的推广和普及，越来越多的用户开始习惯使用云存储服务来存储数据文件，同时用户对于云存储服务的要求也变得越来越高。

具体的，在一些应用场景中，用户所需要存储的数据文件的数据量往往比较庞大，例如，可能会达到十几个TB，但用户希望能够较为高效地通过云端存储并读取上述数据文件；此外，上述需要存储的数据文件的数据内容对用户而言通常较为重要、敏感，可能还会涉及到用户的隐私数据，用户不希望所存储的上述数据文件遭到泄露，对数据文件安全性要求较高。

而基于现有的文件存储方法，往往很难满足上述应用场景中的用户需求，无法安全、高效地对数据量庞大的数据文件进行存储和读取，进而影响了用户的使用体验。

针对上述问题，目前尚未提出有效的解决方案。

发明内容

本说明书提供了一种文件的存储方法、装置和服务器，能够充分利用基于Hadoop集群的HDFS分布式文件系统的分布式特性，通过并行处理的方式，安全、高效地对数据量较大的目标文件加密后再进行云存储，提高了目标文件的存储和读取效率，保护了目标文件的数据安全，改善了用户的使用体验。

本说明书实施例提供了一种文件的存储方法，所述方法应用于Hadoop集群，包括：

获取待存储的目标文件的明文数据；

根据预设的分片规则，将所述目标文件的明文数据按顺序切分为多个分片数据；

确定并根据所述分片数据关于目标文件的关联参数，为所述分片数据设置对应的关联标识；

调用HDFS分布式文件系统中的多个处理节点，利用预设的加密规则，并行对所述多个分片数据进行加密处理，得到多个分片数据的密文数据；

根据关联标识，按顺序合并所述多个分片数据的密文数据，得到目标文件的密文数据；

存储所述目标文件的密文数据。

在一些实施例中，所述目标文件所包含的数据包括以下至少之一：网站用户的交易记录、网站用户的账户数据、网站用户的通信记录。

在一些实施例中，根据预设的分片规则，将所述目标文件的明文数据按顺序切分为多个分片数据，包括：

根据目标文件的数据特征，将所述目标文件的明文数据划分为多个分片数据；其中，所述数据特征包括以下至少之一：数据的来源标识、数据的生成时间、数据的类型。

在一些实施例中，所述预设的加密规则包括基于同态加密算法的加密规则。

在一些实施例中，调用HDFS分布式文件系统中的多个处理节点，利用预设的加密规则，并行对所述多个分片数据进行加密处理，得到多个分片数据的密文数据，包括：

根据预设的加密规则，生成与所述目标文件对应的公钥和私钥；并将所述公钥和所述多个分片数据分配给HDFS分布式文件系统中的多个处理节点；