[发明专利]具有增强的安全性、弹性和控制的分布式数据存储方法及系统

说明书

一种用于加密和重建数据文件，数据文件包括相关元数据的方法及系统。所述方法包括分别将数据和元数据加密为链接进程，并将多种加密或编码技术与战略性存储分布技术和解析技术集成在一起，以产生技术集合的综合效益。如公开内容所示，内容数据与其元数据分开，加密密钥嵌入所述元数据中，并且在内容数据加密链接进程中，所述方法对所述内容数据进行分块、加密、分片和存储并对所述元数据进行单独分片和存储，并且以灵活、有效的分布方式至少部分地存储以确保提高弹性；此外，所述进程优选在本地执行，包括在所述内容数据的站点或代理服务器上执行。

相关申请的交叉引用

本申请基于申请号为62/851,146、申请日为2019年5月22日的美国临时专利申请提出，并要求该美国临时专利申请的优先权，该美国临时专利申请现在为未决申请，其全部内容在此通过引用并入本文。

背景技术

在存储技术领域中，数据保护在安全性和弹性方面的问题是众所周知的。其解决方案有著名的纠删码(EC码)、Shamir秘密共享方案(SSSS)等。EC码广泛用于CD、DVD、二维码(QR码)等，以提高现有解决方案的纠错能力，而SSSS以多项式插值技术进行保密。其中，(t，n)阈值属性需要n个数据片中的至少t个数据片(也称为数据份或分片)来重建原始数据。与n个复制副本类似，但引入了一个附加约束t，该属性在重建原始数据时提高了数据弹性，因其允许n-t个存储节点故障，而不中断服务。从数据保护角度来看，(t，n)阈值属性只有在至少有t个数据份可存取且有效的情况下才能显示原始数据。

纠删码的目标是在最大限度地提高传输或存储效率的情况下纠正数据中的位错误。因此，大多数应用程序仅以EC码，如里德-所罗门码(RS码)为基础。在计算机存储器中，EC码一直用于执行独立磁盘冗余阵列(RAID)，尤其是5级和6级，RAID设计用于在不同的故障水平下可靠地存储组件。

大规模数据存储系统带来了新的技术挑战，即元数据的管理与保护。为了实现灵活性和可扩展性，将数据及其元数据存储在了分布式存储器中，其中，元数据包括所需数据片所在位置的相关信息。因此，为了可靠和安全地存储元数据，通常需要提供另一层数据保护。

例如，Shamir秘密共享方案(SSSS)和RS码分别用于保护数据安全和纠正数据错误，即使SSSS和RS码具有(t，n)阈值属性，也还是需要n个数据份中的至少t个数据份才能重建原始数据。SSSS和RS码分别针对加密和纠错。

SSSS设计为一种将秘密存入多个份额n而不使用加密密钥技术的加密技术。SSSS利用多项式插值来保证理论加密，因此，已知还没有方法可用少于t个的份额来破解SSSS。

RS码也具有相同的(t，n)阈值属性，但其设计用于纠错和提高存储效率。与SSSS不同，RS码使用了线性映射，使得C(x)＝x·A，式中，码字向量x＝(x₁,…,x_t)∈F^t，A是(t×n)矩阵，(t×n)矩阵是范德蒙矩阵的转置，因此，C:F^t→Fⁿ。RS码有多种变体，RS原始码可分为系统码和非系统码。系统码设计了矩阵A以保留原始数据和额外奇偶校验，而这降低了解码成本。非系统码不含原始数据，但仍不能保证数据的安全性到达SSSS级别。RS码有利于数据存储。例如，SSSS需要B×n个存储空间，但RS码需要B×n/t个存储空间，式中，B是原始数据的大小。

分布式数据存储因其可扩展性和成本效率而产生。其中一个较著名的分布式数据存储系统是Hadoop分布式文件系统(HDFS)，该系统针对非常大的数据中心存储系统而设计，用以执行MapReduce等并行数据负载。HDFS推荐采用3份数据副本：2份副本存放在相同机架的两个不同节点上，另一份存放在不同机架(位置)的不同的节点上。该策略通过利用故障的本地局部性简单地提高了数据存取可能性。最近，已利用对象存储解决方案通过键值对来简化输入/输出(I/O)查询。