[发明专利]数据迁移方法、装置、设备及存储介质

说明书

本发明涉及数据处理技术，揭露了一种数据迁移方法，包括：根据搜索服务器中的待迁移数据确定迁移索引，并获取所述迁移索引的结构定义；根据所述迁移索引和结构定义生成符合数据仓库要求的目标表结构定义，并根据所述目标表结构定义生成目标数据库表；基于游标将所述待迁移数据按照预设数据量大小进行划分，得到多个迁移子集；利用预先构建的迁移程序将所述多个迁移子集写入所述目标数据库表中，并对所述目标数据库表进行数目验证。此外，本发明还涉及区块链技术，目标数据库表可存储于区块链的节点。本发明还提出一种数据迁移装置、电子设备以及存储介质。本发明可以解决数据迁移效率低、准确性低的问题。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据迁移方法、装置、电子设备及计算机可读存储介质。

背景技术

日志数据分析是数据存储系统工作中的重要依据，而现有的许多业务系统都把解析后的日志存储在搜索服务器(如elasticsearch)中用来搜索，另外的一路数据则放在如hive的数据仓库中，导致数据冗余的问题，因此需要将搜索服务器中的数据迁移到如clickhouse的数据仓库。现有技术中，通常是利用一些现有的数据抽取工具实现数据迁移，而由于数据量规模较大，数据迁移耗时较长，且迁移的准确率不高，导致维护成本增加。因此，需要一种更加高效、准确的数据迁移方法。

发明内容

本发明提供一种数据迁移方法、装置及计算机可读存储介质，其主要目的在于解决数据迁移效率低、准确性低的问题。

为实现上述目的，本发明提供的一种数据迁移方法，包括：

根据搜索服务器中的待迁移数据确定迁移索引，并获取所述迁移索引的结构定义；

根据所述迁移索引和结构定义生成符合数据仓库要求的目标表结构定义，并根据所述目标表结构定义生成目标数据库表；

基于游标将所述待迁移数据按照预设数据量大小进行划分，得到多个迁移子集；

利用预先构建的迁移程序将所述多个迁移子集写入所述目标数据库表中，并对所述目标数据库表进行数目验证。

可选地，述根据搜索服务器中的待迁移数据确定迁移索引，并获取所述迁移索引的结构定义，包括：

根据预设的迁移条件确定待迁移数据；

根据索引关系从搜索服务器中查找与所述待迁移数据对应的索引，得到迁移索引；

获取所述迁移索引下所述待迁移数据的存储结构信息得到结构定义，其中，所述结构定义包括字段类型信息、索引大小和数据条数。

可选地，所述根据所述迁移索引和结构定义生成符合数据仓库要求的目标表结构定义，包括：

根据所述迁移索引确定目标表的数目；

根据所述结构定义确定所述目标表的存储结构；

基于所述数据仓库的存储结构将所述目标表的存储结构转化为符合数据仓库要求的目标表结构定义。

可选地，所述根据所述目标表结构定义生成目标数据库表，包括：

根据所述目标表结构定义生成符合所述数据仓库语法的创建表命令；

执行所述创建表命令在所述数据仓库中生成目标数据库表。

可选地，所述基于游标将所述待迁移数据按照预设数据量大小进行划分，得到多个迁移子集，包括：

获取基于目标数据总量确定批次大小表，在所述批次大小表中获取当前条目阈值；

在搜索服务器中从所述待迁移数据中获取与所述当前条目阈值相同条目数的数据，得到第一迁移子集，并根据所述当前条目阈值设置迁移游标；