[发明专利]数据迁移方法以及装置

说明书

本发明提供一种数据迁移方法以及装置，其中该方法包括：获取指定服务器创建的HBase表；获取待迁移数据，并根据所述HBase表将所述待迁移数据生成指定格式的数据文件；其中，所述待迁移数据为按照所述服务器集群拆解后获得的独立服务器数量对所有待迁移数据进行拆分后，分配给各个独立服务器分别处理的对应数据；将所述指定格式的数据文件迁移至所述指定服务器创建的HBase表中。本发明解决了现有技术中将服务器集群拆解成单独的服务器进行运算时无法将每单台服务器生成的HFile文件导入到服务器集群的HBase表中的问题，且有效地提高了数据迁移效率。

技术领域

本发明涉及通信技术领域，尤其涉及一种数据迁移方法以及装置。

背景技术

为了满足对历史数据的保留、迁移等需求(尤其是存在关系型数据库到非关系型数据库的迁移情况下)，通常需要从原先的数据库中获取历史数据，并按照新数据库的设计要求将数据保存到新的数据表中。

在数据量巨大时，一般会通过数据导出工具将历史数据导出保存在文本文件中，并利用服务器集群的高性能的批处理分布式计算框架将文本文件数据生成HBase表的HFile文件，最后将HFile文件导入到指定的HBase表中。

然而，利用服务器集群的批处理分布式计算框架对文本文件数据进行运算，其整体运算效率比集群所有独立服务器的运算效率低很多，这种方式则会降低整个数据迁移过程的效率。但是如果将服务器集群拆解成单独的服务器进行运算，又无法保证每单台服务器生成的HFile文件能够兼容，进而也无法将每单台服务器生成的HFile文件导入到服务器集群的HBase表中。

发明内容

针对现有技术的缺陷，本发明提供了一种数据迁移方法以及装置。

本发明提供一种数据迁移方法，该方法应用于对服务器集群进行拆解后的独立服务器，其中该方法包括：

获取指定服务器创建的HBase表；

获取待迁移数据，并根据所述HBase表将所述待迁移数据生成指定格式的数据文件；其中，所述待迁移数据为按照所述服务器集群拆解后获得的独立服务器数量对所有待迁移数据进行拆分后，分配给各个独立服务器分别处理的对应数据；

将所述指定格式的数据文件迁移至所述指定服务器创建的HBase表中。

本发明还提供一种数据迁移装置，该装置应用于对服务器集群进行拆解后的独立服务器，该装置包括：

获取单元，用于获取指定服务器创建的HBase表；

生成单元，用于获取待迁移数据，并根据所述HBase表将所述待迁移数据生成指定格式的数据文件；其中，所述待迁移数据为按照所述服务器集群拆解后获得的独立服务器数量对所有待迁移数据进行拆分后，分配给各个独立服务器分别处理的对应数据；

迁移单元，用于将所述指定格式的数据文件迁移至所述指定服务器创建的HBase表中。

本发明提供的数据迁移方法以及装置，通过获取指定服务器创建的HBase表以及获取待迁移数据，并根据所述HBase表将待迁移数据生成指定格式的数据文件，以将指定格式的数据文件迁移至所述指定服务器创建的HBase表中，解决了现有技术中将服务器集群拆解成单独的服务器进行运算时无法将每单台服务器生成的HFile文件导入到服务器集群的HBase表中的问题，且有效地提高了数据迁移效率。

附图说明

图1是本发明实施例中一种数据迁移方法应用场景示意图；

图2是本发明实施例中一种数据迁移方法流程示意图；

图3是本发明实施例中一种数据迁移装置的逻辑结构示意图；

图4是本发明实施例中数据迁移装置所在独立服务器的硬件架构示意图。

具体实施方式