[发明专利]一种批量文件的迁移方法及装置

说明书

本发明属于大数据技术领域，本发明提供了一种批量文件的迁移方法及装置，所述批量文件的迁移方法包括：将源文件存储至关系型数据库中；根据所述源文件的全局文件数据库ID号及时间戳，将所述关系型数据库中的文件列表插入至分布式缓存队列中；根据所述分布式缓存队列生成所述源文件的映射表；根据所述映射表将所述源文件进行迁移。本发明克服了现有技术中的稳定性问题、并发性能问题以及断点批量续传问题，充分实现了redis分布式缓存消息队列的高效性和便捷性。

技术领域

本申请属于大数据技术领域，具体涉及一种批量文件的迁移方法及装置。

背景技术

随着科技的飞速发展，互联网技术更新迭代时间大大缩减，各种功能的应用系统的升级越来越频繁，而在更新系统过程中，需要将老系统的文件数据迁移到新系统中，这一过程中会涉及到如下几个问题，传统的文件迁移系统大多采用单体系统架构，因为那时几乎没有分布式系统框架技术，所以就导致传统文件迁移系统并发和性能水平非常有限，其次，现有技术中文件迁移系统容错性较低，迁移过程中如果出现错误后大多只是做重试处理，这样就有批量迁移时一旦出现问题是无法直接重试的问题，因为错误点没有分析和记录出现错误后新旧系统的数据同步难度非常大，也就是不支持断点续传功能，最后是现有的文件迁移系统因为架构设计等原因普遍都是无法整合分布式组件方便。

发明内容

本发明可用于大数据技术在金融方面应用的技术领域，也可用于除金融领域之外的任意领域，本发明解决现有技术文件迁系统一些痛点问题，包括文件迁移的并发性，耦合性，扩展性等问题，并支持断点批量续传功能，以及支持分布式组件整合。

为解决上述技术问题，本发明提供以下技术方案：

第一方面，本发明提供一种批量文件的迁移方法包括：

将源文件存储至关系型数据库中；

根据所述源文件的全局文件数据库ID号及时间戳，将所述关系型数据库中的文件列表插入至分布式缓存队列中；

根据所述分布式缓存队列生成所述源文件的映射表；

根据所述映射表将所述源文件进行迁移。

一实施例中，所述根据所述源文件的全局文件数据库ID号及时间戳，将所述关系型数据库中的文件列表插入至分布式缓存队列中，包括：

根据所述全局文件数据库ID号及时间戳，将所述关系型数据库中的源文件进行排序；

将排序后的源文件对应的文件列表进行拆分；

将拆分后的文件列表插入至分布式缓存redis队列中。

一实施例中，所述根据所述分布式缓存队列生成所述源文件的映射表包括：

根据所述分布式缓存redis队列，生成所述源文件中多个子文件与所述多个子文件位置之间的映射表。

一实施例中，所述根据所述映射表将所述源文件进行迁移包括：

根据所述映射表以及所述源文件生成生产者队列；

当生产者队列长度大于0时，以多线程的方式将所述生产者队列写入至消费者队列中。

一实施例中，批量文件的迁移方法还包括：

当发生源文件迁移断点时，根据断点时间以及所述映射表确定发生断点的子文件；

删除消费者队列中的发生断点的子文件，并根据所述映射表以及所述源文件进行断点续传。

第二方面，本发明提供一种批量文件的迁移装置，该装置包括：

源文件存储模块，用于将源文件存储至关系型数据库中；