[发明专利]一种分布式协同加密方法及装置

说明书

技术领域

本发明涉及大数据领域的加密技术，尤其涉及一种分布式协同加密方法及装置。

背景技术

现有数据加密方式包括单系统加密方式和镜像拷贝方式，这两者适合于单数据平台或数据规模较小的情况；其中，由于数据是以表方式存储的，镜像加密方式基本上是表级数据对象的映射同步，不适合多平台的异构环境模型。对于海量数据的加密，现有技术一般存在两种解决方案：

一种解决方案是采用由分布式数据仓库与其他数据库组成的异构数据平台系统，在该异构数据平台系统中，同步各平台间的隐私数据保护采用的是二次加密方式，即数据仓库加密和其他数据库的加密是分两次进行的：首先，数据仓库根据已经设定的安全策略对库内的隐私数据进行加密；之后，其他数据库根据自身的安全策略再进行加密；当使用隐私数据时用各自的安全策略包括加密算法和密钥进行还原。

另一种解决方案是在数据提取、转换和加载（ETL，Extraction Transformation Loading）的过程中采用一次加密，然后异步传输给数据仓库与数据集市。这种方案的问题是无法保证数据仓库由于其他原因发生变更时，数据的一致性同步，比如密钥发生变更后，加密数据要重新更新，ETL无法负责同时增加ETL的管理负载，从而降低了数据装载的速度。

现有技术所采用的二次加密方式导致同一数据源信息要进行两次加密，消耗大量计算资源，同时二次加密会导致分开加密的算法、密钥可能不一致，客户隐私数据可能会产生加密结果差异；现有技术所采用的异步传输方式可以实现一次加密，但是无法保障在异步传输过程中由于网络故障，缓冲溢出导致的数据丢失、错序，带来的数据质量问题。

以上两种解决方案都无法解决异构大数据平台系统在运营过程中，主数据仓库由于密钥版本更新等而导致客户隐私数据密文发生变更后，数据仓库与其他数据库中客户隐私数据的关联同步和一致性问题。

发明内容

有鉴于此，本发明实施例为解决现有技术中存在的问题而提供一种分布式协同加密方法及装置，在实现一次加密的同时，能够解决数据仓库与系统内其他数据库之间隐私数据的协同管理问题。

本发明实施例的技术方案是这样实现的：

一种分布式协同加密方法，应用于异构数据平台系统，所述异构数据平台系统包括数据提取、转换和加载ETL服务器、数据仓库和一个以上的数据集市，所述数据仓库中的第一数据对象与所述一个以上的数据集市中的各第二数据对象之间分别存在映射关系；配置源数据中的隐私数据的范围和隐私属性，所述隐私属性至少包括加密的第一版本信息和加密策略，所述方法包括：

所述ETL服务器在对源数据进行加载的过程中，根据所述隐私数据的范围确定所加载的源数据包括隐私数据时，读取为所加载的源数据配置的加密策略，根据所述加密策略对所述隐私数据进行加密，得到加密后的源数据；

所述ETL服务器将所述加密后的源数据发送给所述数据仓库；

所述数据仓库将所述加密后的源数据寄存于缓存中；

所述数据仓库根据所述映射关系在所述一个以上的数据集市中确定目标数据集市和所述目标数据集市中对应的目标数据对象；

所述数据仓库向所述目标数据集市发送数据同步请求消息，并将所述加密后的源数据写入所述数据仓库的磁盘中；其中，所述数据同步请求消息中包括所述加密的第一版本信息。

一种分布式协同加密方法，应用于异构数据平台系统的数据提取、转换和加载ETL服务器，所述异构数据平台系统包括ETL服务器和数据仓库；

所述ETL服务器配置源数据中的隐私数据的隐私属性，所述隐私属性至少包括加密策略，所述方法包括：

在对源数据进行加载的过程中，所述ETL服务器根据所述隐私数据的范围确定所加载的源数据包括隐私数据时，读取为所加载的源数据配置的加密策略，所述加密策略作为动态链接库中函数的执行输入参数；

所述ETL服务器根据所述加密策略对所述隐私数据进行加密，得到加密后的源数据；

所述ETL服务器将所述加密后的源数据发送给所述数据仓库。

一种分布式协同加密方法，应用于异构数据平台系统，所述异构数据平台系统包括数据提取、转换和加载ETL服务器、数据仓库和一个以上的数据集市，所述数据仓库中的第一数据对象与所述一个以上的数据集市中的各第二数据对象之间分别存在映射关系；

所述方法包括：

所述数据仓库接收ETL服务器发送的加密后的源数据，并将所述加密后的源数据寄存于所述数据仓库的缓存中；