[发明专利]一种基于混合云存储的数据存储系统及数据存储方法

说明书

技术领域

本发明涉及云计算领域，特别是一种基于混合云存储的数据存储系统及数据存储方法。

背景技术

随着网络信息化的普及，数据信息呈现出爆炸式增长的趋势，数据量的级别已经由TB级别飙升到ZB级别，特别是随着大数据时代的来临，全球数据总量每过24个月都要翻一番。在如此庞大的数据量以及增长速度下，不仅验证了大数据时代的来临，同时也为存储系统进一步发展和繁荣创造了无限的机遇。

数据存储作为云计算的存储部分，是云计算能否实现的存储基础。随着网络信息化的深入，数据存储已经从单纯的存储媒介逐渐演变为一种存储服务。在数据量不大的情况下，企业通过在内部搭建数据中心(私有云)来存放数据，但随着大数据时代的来临，企业已有的数据中心已经不能满足其数据存储需求，对于这些企业，只有继续搭建数据中心或者租用其他企业的存储服务来解决数据存储空间不足的问题。

混合云存储作为一种新型的数据存储模式，将公有云存储和私有云存储进行结合，特别是随着大数据浪潮的到来，这一新型的数据存储模式已经逐渐被各行各业所接受和使用。虽然这种存储模式潜力无限，但在实际的使用过程中，现有混合云存储系统在数据迁移设计与实现方面存在不足，特别是私有云利用率不高的问题。

发明内容

本发明的目的是提供一种基于混合云存储的数据存储系统及数据存储方法，旨在解决现有现有混合云存储系统存在的利用率不高的问题，在保证用户存储需求的同时，提高系统存储性能并降低混合云存储的整体存储成本。

为达到上述技术目的，本发明提供了一种基于混合云存储的数据存储系统，包括：

动态公有云监控模块，用于动态监控各个公有云的性能差异，选取性能最优的公有云；

冷热数据区分模块，用于分离冷数据和热数据；

存储调度模块，用于控制所有的存储操作；

用户访问接口模块，用于传递用户存储请求；

冗余编码模块，用于对需要上传/下载的数据进行编码/解码；

混合云存储资源访问模块，用于提供统一的混合云存储服务访问接口；

元数据管理模块，用于提供数据的元数据信息；

安全加解密模块，用于为数据进行加解密。

优选地，所述动态公有云监控模块包括：

性能测试单元，用于采用多线程同时上传/下载特定小文件的方式，对各个公有云进行性能测试，并根据响应时间大小来作为公有云性能指标；

公有云选取单元，用于动态选取测试结果最优的公有云。

优选地，所述冷热数据区分模块包括：

数据记录及容量保存单元，用于对私有云的数据冷热度信息进行保存，同时与元数据管理模块进行交互，全局记录公有云和私有云的数据存储量以及数据下载量；

冷热数据区分单元，用于对私有云中的热数据和冷数据进行分离；

冷数据批量处理单元，用于批量选择冷数据，按数据量为存储调度模块提供冷数据集合。

优选地，所述存储操作包括用户访问操作、元数据管理操作、冷热数据区分操作、安全加解密操作、冗余编码操作、资源访问操作以及动态公有云监控操作。

优选地，所述冗余编码模块包括：

编码单元，用于对需要上传的数据进行编码，产生多个编码数据块；

数据块上传单元，用于将不同得数据块上传至不同的云存储；

解码单元，用于对需要下载的数据进行解码。

优选地，所述混合云存储资源访问模块通过混合云存储服务访问接口访问的云存储为通过动态公有云监控模块动态选取的性能最优的公有云或私有云。

优选地，所述混合云存储服务访问接口为Apache libcloud API。

优选地，所述元数据信息包括数据在混合云存储中的存储路径以及公有云信息。

本发明还提供了一种基于混合云存储的数据存储方法，包括：

通过用户访问接口模块接收用户请求，并上传请求至存储调度模块；

冷热数据区分模块对冷热数据进行分离，并将冷热度信息发送至存储调度模块；

存储调度模块基于数据冷热度信息通过混合云存储资源访问模块访问通过动态公有云监控模块选取的性能最优的公有云或私有云，进行上传/下载数据；

通过用户访问接口模块反馈用户请求。

优选地，在上传/下载数据过程中，还包括以下过程：

对数据进行加密/解密；

对数据进行编码/解码；

更新和获取元数据信息。