[发明专利]面向云计算环境的分层存储系统中的数据迁移方法

说明书

技术领域

本发明涉及分层存储技术，更具体来说，涉及一种面向云计算环境的分层存储系统中的数据迁移方法。

背景技术

在现有的大多数应用场景中，一个应用系统包含自身的一套业务系统、备份系统和归档系统。多系统情况下，由于平台较多，系统的管理比较复杂，而且很容易造成容量空间的浪费，对每个系统的存储能力做出了限制。

在当前方案下，如果一个企业的系统较多，则管理员要同时负责多个系统的维护工作，并且为每个系统设计备份系统和归档系统，并且随着业务数据的增多，要定期的做数据备份归档，数据备份和归档系统要求具有一定的可扩展性，一般业务之间的存储空间不能共用，造成有的系统空间使用较多，有些系统的空间利用率反而很低。如果需要查询很久以前的数据，需要将归档系统中的数据进行数据恢复，数据量较大的时候成本较高，而且不容易找到所需数据。

由上可见，现有系统不能很好地满足多应用系统统一管理，不能合理地使用空间。

发明内容

为解决上述问题，本发明提供了一种面向云计算的分层存储系统。所述系统具有高吞吐量、高安全性、高可靠性和可扩展性，满足了对多项业务数据的高性能、透明的数据迁移要求。

根据本发明的一个方面，提供了一种面向云计算环境的分层存储系统中的数据迁移方法，所述分层存储系统包括在线业务平台和大数据平台，所述数据包括结构化数据和非结构化数据并且在所述在线业务平台与所述大数据平台之间进行迁移，所述方法包括：确定待迁移的数据的类型；以及根据所述数据的类型而在所述在线业务平台与所述大数据平台之间进行迁移，其中，在确定待迁移的数据为结构化数据时，采用MapReduce架构来实现并行迁移，而在确定待迁移的数据为非结构化数据时，采用FTP方式来实现并行迁移。

在上述数据迁移方法中，所述在线业务平台配置成存储近期的数据，而所述大数据平台配置成存储长时期的业务数据。

在上述数据迁移方法中，采用MapReduce架构来实现并行迁移包括：获取待转移的数据源和约束参数；收集配置信息并且根据所述配置信息来相应地设置所述MapReduce架构中的任务的配置信息；以及调用所述任务来进行数据迁移。

在上述数据迁移方法中，所述约束参数包含映射的个数要求。

在上述数据迁移方法中，所述任务的配置信息包括输入地址、输出地址、映射器所使用类、输入数据的格式以及输出数据的格式。

在上述数据迁移方法中，采用FTP方式来实现并行迁移包括：获取配置文件，其中所述配置文件包含数据迁移源数据文件夹地址、并发过程所采用的线程数量、迁移目的数据文件夹地址以及数据迁移后文件的命名方式；对所述配置文件进行解析；根据解析后的配置文件，建立FTP连接。

在上述数据迁移方法中，采用FTP方式来实现并行迁移还包括：在对所述配置文件进行解析后，判断所要迁移的文件列表是否为空；其中，如果为空，则结束迁移，反之则启动配置文件中指定个数的线程数进行数据迁移。

在上述数据迁移方法中，采用FTP方式来实现并行迁移还包括：在建立FTP连接后，判断迁移是否成功；其中如果成功，则结束数据迁移，反之则将迁移错误信息打印到日志文件中。

本发明的技术方案通过采用一个大数据平台完成了多个业务系统的数据备份，简化了系统管理复杂性，提高了系统空间使用率，能够实现在线业务平台和大数据平台之间的自动数据迁移。迁移的数据包含结构化数据和非结构化数据，采用了并发式的数据迁移模式以满足系统对迁移的性能要求。

附图说明

在参照附图阅读了本发明的具体实施方式以后，本领域技术人员将会更清楚地了解本发明的各个方面。本领域技术人员应当理解的是：这些附图仅仅用于配合具体实施方式说明本发明的技术方案，而并非意在对本发明的保护范围构成限制。

图1是根据本发明的一个实施例的面向云计算存储系统结构示意图；

图2是根据本发明的一个实施例的面向云计算存储系统结构化数据迁移流程图；

图3是根据本发明的一个实施例的面向云计算存储系统非结构化数据迁移流程图。

具体实施方式

下面介绍的是本发明的多个可能实施例中的一些，旨在提供对本发明的基本了解，并不旨在确认本发明的关键或决定性的要素或限定所要保护的范围。容易理解，根据本发明的技术方案，在不变更本发明的实质精神下，本领域的一般技术人员可以提出可相互替换的其它实现方式。因此，以下具体实施方式以及附图仅是对本发明的技术方案的示例性说明，而不应当视为本发明的全部或者视为对本发明技术方案的限定或限制。