[发明专利]一种数据备份方法及云HDFS系统

说明书

本发明公开了一种数据备份方法及云HDFS系统，所述方法包括：在当前备份周期内，通过预定接口从数据的源存储平台获取至少一种待备份数据，所述源存储平台为关系数据库管理系统RDBMS系统平台、大规模并行处理机制MPP系统平台和基于云架构的分布式文件系统HDFS系统平台中的至少一个；计算当前备份周期内的每种待备份数据的属性信息；依据所述属性信息，对所述至少一种待备份数据进行备份。本方案中利用数据的使用价值对数据进行备份，至少能够提高备份效率、避免对备份空间的浪费。

技术领域

本发明涉及数据备份技术，具体涉及一种数据备份方法及基于云架构(Hadoop)的分布式文件系统(HDFS，Hadoop Distributed File System)系统。

背景技术

移动互联网时代，数据正在呈爆炸性增长，增值业务、定制业务等各种业务的数据量已呈现指数增长，而对这些海量数据的备份已经成为其中难以解决的问题之一。

目前，对于海量数据的备份，主要可采用如下几种方法：(1)数据库备份技术；(2)块设备备份技术；(3)基于云存储的数据备份技术。其中，采用数据库备份技术和块设备备份技术是较为传统的备份技术，数据库备份技术主要利用mirror、Copy技术对数据进行备份；而块设备备份技术基本上针对小型计算机系统接口(SCSI，Small Computer SystemInterface)类设备中的数据进行备份，如直连式存储设备(DAS，Direct AttachedStorage)、存储区域网络(SAN，Storage Area Network)设备。海量数据的备份要求系统具有很强的扩展性，而这两种传统的备份系统的可扩展性不足，无法满足对海量数据的备份。基于云存储的备份技术由于具有较大的数据吞吐量而备受关注，对于不需要备份的数据或利用价值较小的数据也进行云存储，无非是浪费了备份空间，降低了备份效率。

发明内容

为解决现有存在的技术问题，本发明实施例提供一种数据备份方法及云HDFS系统，至少能够提高备份效率、避免对备份空间的浪费。

本发明实施例的技术方案是这样实现的：

本发明实施例提供一种数据备份方法，所述方法包括：

在当前备份周期内，通过预定接口从数据的源存储平台获取至少一种待备份数据，所述源存储平台为关系数据库管理系统RDBMS系统平台、大规模并行处理机制MPP系统平台和基于云架构的分布式文件系统HDFS系统平台中的至少一个；

计算当前备份周期内的每种待备份数据的属性信息；

依据所述属性信息，对所述至少一种待备份数据进行备份。

上述方案中，所述通过预定接口从数据的源存储平台获取至少一种待备份数据，包括：

通过预定接口读取存储在所述源存储平台中的数据，得到所述至少一种待备份数据。

上述方案中，在计算当前备份周期内的每种待备份数据的属性信息之前，所述方法还包括：

获取每种待备份数据的第一信息，第一信息表征为在历史周期内的待备份数据被用户操作的频繁程度；

获取每种待备份数据的存储时间信息，所述存储时间信息表征为待备份数据在所述至少一源存储平台中的存放时间；

获取每种待备份数据的迁移度信息，所述迁移度信息表征为待备份数据在所有源存储平台的至少两个源存储平台中的迁移次数；

相应的，所述计算当前备份周期内的每种待备份数据的属性信息，包括：

依据每种待备份数据的第一信息、存储时间信息及迁移度信息，确定每种待备份数据的属性信息。

上述方案中，所述依据待备份数据的第一信息、存储时间信息及迁移度信息，确定每种待备份数据的属性信息，包括：