[发明专利]一种提高存储可用性的多云存储管理系统

说明书

本发明提供了一种提高存储可用性的多云存储管理系统，针对目前云存储上传接口以及多个云存储数据管理中的不足之处，本发明提出了一种提高存储可用性的多云存储数据管理系统，提高数据可靠性，优化上传速率，消除云存储的重复数据，提供方便的目录结构管理。

技术领域

本发明涉及本发明涉及互联网技术领域，特别涉及一种提高存储可用性的多云存储管理系统。

背景技术

云存储作为一种新兴的网络存储技术，是指通过集群应用、网络技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。简单来说，云存储就是将储存资源放到云上供人存取的一种新兴方案。使用者可以在任何时间、任何地方，透过任何可连网的装置连接到云上方便地存取数据。

云存储服务为客户提供可靠，可扩展和低成本的数据托管功能，越来越多的企业和组织将其全部或部分数据托管到云中，以降低IT维护成本(包括硬件，软件和运营成本)并提高数据可靠性，典型的使用示例包括存储备份数据和在线数字媒体，例如，美国国会图书馆将其数字化内容转移到云端。

然而，仅仅依赖于特定的云存储提供商有一些潜在的严重问题。首先，它可能导致供应商锁定问题，用户完全受某个供应商的限制，并且更换供应商成本较大。第二，瞬时故障导致服务暂时不可用，或永久故障导致数据丢失，比如2012年电力问题导致亚马逊服务不可用。因此，使用多个云存储提供商是为云存储系统提供更好的可用性的有效方法。

目前已存在统一多个云存储接口的实现，如Apache Libcloud，它是一个Python库，掩盖了不同云存储提供商接口之间的差异，允许通过统一的接口来管理不同的云资源。然而，Apache Libcloud没有提供元数据信息管理，不能消除云存储端的重复数据；云存储服务中的对象存储采用扁平的数据组织结构，往往是两层或者三层，没有提供一个方便用户查看的目录结构；另外，统一接口没有考虑到上传大文件时，使用云存储普通上传接口导致传输时间较长的问题，受网络状况影响还会造成上传文件失败，影响服务质量和系统的可用性。

以上中可以看出，使用云存储可为企业或个人提供数据存储服务，并降低了维护成本，但是现有技术中仍存在以下问题：首先，仅仅使用单个云存储提供商，存在供应商锁定问题，服务中断导致不可用的情况也会有发生；其次，现有的工作虽然已存在多个云存储提供商的统一操作接口，但忽略了云存储普通上传文件接口性能问题；对于大文件存在传输时间较长的问题，受网络状况影响还会造成上传失败的情况，从而使上传文件接口服务质量下降；此外，现有的云存储服务中没有提供元数据管理，不能解决云存储端的重复数据问题。云存储服务中的对象存储采用扁平的数据组织结构，往往是两层或者三层，没有提供一个方便用户查看的目录结构。

发明内容

针对目前云存储上传接口以及多个云存储数据管理中的不足之处，本发明提出了一种提高存储可用性的多云存储数据管理系统。提高数据可靠性，优化上传速率，消除云存储的重复数据，提供方便的目录结构管理，是本发明的目标。

本发明相对于现有技术中的存储系统有如下的特点和优势：

(1)采用多个云存储，实现云际的数据冗余，提高数据的可靠性。同时，通过制定统一接口标准，不同云存储操作功能按照接口标准做相应的实现，掩盖了不同云存储接口的差异性，对新加入的云存储供应商也具有良好的可扩展性。

(2)对于小文件上传，使用云存储中的普通上传文件接口依然可行；对于大文件上传，使用云存储中的分块上传文件接口，通过并发对接口进行优化，提高上传文件接口的服务质量。

(3)通过对文件内容进行元数据信息管理，以哈希MD5值作为唯一的文件内容标识，避免重复数据上传，消除云存储端重复数据，减少存储成本。

(4)实现目录管理结构，为用户提供了方便的目录管理接口，解决了对象存储服务中没有嵌套文件夹的问题。