[发明专利]一种基于存储网关的数据去重方法、系统及装置

说明书

本发明公开了一种基于存储网关的数据去重方法、系统及装置，方法包括：存储网关计算待上传文件的摘要并将摘要发送至服务器，以使服务器发出权限验证挑战指令或者文件上传指令；存储网关根据服务器的权限验证挑战指令生成响应数组，以使服务器进行权限验证；存储网关根据服务器的文件上传指令，结合混淆文件将待上传文件上传至服务器；服务器接收存储网关发送的待上传文件的摘要；服务器对待上传文件的摘要进行重复检查，以生成文件上传指令或权限验证挑战指令；系统包括存储网关和服务器；装置包括存储器和处理器。本发明大大减少了用户的工作量且安全性高，可广泛应用于云计算技术领域。

技术领域

本发明涉及云计算技术领域，尤其是一种基于存储网关的数据去重方法、系统及装置。

背景技术

近年来，随着云计算技术的快速发展，越来越多的用户使用云存储服务存储和管理数据，因此造成大量冗余数据。为了节省存储空间和网络带宽的消耗，研究者们提出数据去重(deduplication)技术，也被称为重复数据删除技术。利用该技术，消除了云存储中冗余的文件或更细粒度的数据，云存储服务器只需保留一份数据副本。

数据去重技术根据去重发生的位置可分为：客户端数据去重和服务器端数据去重。在客户端数据去重方案中，用户首先上传文件标识(如hash值)至服务器中进行重复检测，若存在重复，则无需重复上传该文件，并且服务器将该用户记为文件拥有者。在服务器端数据去重方案中，用户不管文件是否重复，总是将文件上传至服务器，随后服务器检测文件的重复性，并将重复文件删除，仅保留一份数据副本。显然，服务器端数据去重需要消耗更多的网络带宽，因此客户端数据去重是目前云服务提供商(CSP,Cloud ServiceProvider)普遍采用的方法。

由于典型的客户端数据去重云系统常采用文件的摘要(即hash值)作为用户的文件凭证，由此带来一个问题，即攻击者可能仅凭借文件的摘要就可以获得整个文件，例如攻击者只需上传摘要H(F)就会被云服务器认为拥有文件F的权限。针对于此，研究者们提出了所有权证明(PoW,Proof of Ownership)的概念，用户必须通过云服务器的验证才能拥有相关文件的权限。PoW方案通常包括四个阶段：文件上传(upload)、云服务器发起挑战(challenge)、客户端响应(proof)以及云服务器验证(verification)。

然而，现有的PoW方案容易遭受侧信道攻击，攻击者可能通过在上传文件过程中观察网络流量状况就能判断去重是否发生，从而可知道云存储服务器上是否已存储该文件。例如，攻击者监听到某个时段网络流量大小等于文件F，则可判断存储网关正在上传F至服务器。攻击者可能利用这一点发起侧信道攻击，甚至可以获取文件内容，使得用户的数据安全和隐私受到严重的威胁。

为了避免侧信道攻击，有研究者提出了存储网关(SG,Storage Gateway)的概念，利用存储网关代替用户与云服务器进行交互，使得数据去重过程对用户透明。存储网关由多个本地磁盘连接而成的服务器，拥有一个较大容量的存储空间，与某个局域网内(如公司、学校、社区等)所有的用户相连，能够直接与云服务器进行交互，如上传/下载文件等。用户的所有待上传文件都会传输到存储网关，数据去重过程发生在存储网关中。然而，目前基于存储网关的方案都未考虑所有权证明，攻击者可能凭借文件摘要来获取整个文件，安全性较低。

发明内容

为解决上述技术问题，本发明的目的在于：提供一种安全性高且工作量小的，基于存储网关的数据去重方法、系统及装置。

本发明所采取的第一技术方案是：

一种基于存储网关的数据去重方法，包括以下步骤：

存储网关计算待上传文件的摘要并将摘要发送至服务器，以使服务器发出权限验证挑战指令或者文件上传指令；

存储网关根据服务器的权限验证挑战指令生成响应数组，以使服务器进行权限验证；