[发明专利]数据迁移方法、装置、设备及存储介质

权利要求书

1.一种数据迁移方法，其特征在于，所述方法包括：

根据搜索服务器中的待迁移数据确定迁移索引，并获取所述迁移索引的结构定义；

根据所述迁移索引和结构定义生成符合数据仓库要求的目标表结构定义，并根据所述目标表结构定义生成目标数据库表；

基于游标将所述待迁移数据按照预设数据量大小进行划分，得到多个迁移子集；

利用预先构建的迁移程序将所述多个迁移子集写入所述目标数据库表中，并对所述目标数据库表进行数目验证。

2.如权利要求1所述的数据迁移方法，其特征在于，所述根据搜索服务器中的待迁移数据确定迁移索引，并获取所述迁移索引的结构定义，包括：

根据预设的迁移条件确定待迁移数据；

根据索引关系从搜索服务器中查找与所述待迁移数据对应的索引，得到迁移索引；

获取所述迁移索引下所述待迁移数据的存储结构信息得到结构定义，其中，所述结构定义包括字段类型信息、索引大小和数据条数。

3.如权利要求1所述的数据迁移方法，其特征在于，所述根据所述迁移索引和结构定义生成符合数据仓库要求的目标表结构定义，包括：

根据所述迁移索引确定目标表的数目；

根据所述结构定义确定所述目标表的存储结构；

基于所述数据仓库的存储结构将所述目标表的存储结构转化为符合数据仓库要求的目标表结构定义。

4.如权利要求1所述的数据迁移方法，其特征在于，所述根据所述目标表结构定义生成目标数据库表，包括：

根据所述目标表结构定义生成符合所述数据仓库语法的创建表命令；

执行所述创建表命令在所述数据仓库中生成目标数据库表。

5.如权利要求1所述的数据迁移方法，其特征在于，所述基于游标将所述待迁移数据按照预设数据量大小进行划分，得到多个迁移子集，包括：

获取基于目标数据总量确定批次大小表，在所述批次大小表中获取当前条目阈值；

在搜索服务器中从所述待迁移数据中获取与所述当前条目阈值相同条目数的数据，得到第一迁移子集，并根据所述当前条目阈值设置迁移游标；

按照顺序在所述批次大小表中获取下一数据并更新为当前条目阈值，根据所述迁移游标从所述待迁移数据中对应位置开始获取与所述当前条目阈值相同条目数的数据，得到第二迁移子集，并更新所述迁移游标；

返回按照顺序在所述批次大小表中获取下一数据并更新为当前条目阈值的步骤，直至所述批次大小表中的数据都被选择完毕，得到多个迁移子集。

6.如权利要求1所述的数据迁移方法，其特征在于，所述利用预先构建的迁移程序将所述多个迁移子集写入所述目标数据库表中，包括：

调用所述迁移程序中的读取线程从所述多个迁移子集中读取一个迁移子集；

调用所述迁移程序中的队列分配线程将读取的所述迁移子集形成多个数据队列；

调用所述迁移程序中的写入线程将所述多个数据队列中的数据依次写入所述目标数据库表对应的数据表中。

7.如权利要求1至6中任一项所述的数据迁移方法，其特征在于，所述对所述目标数据库表进行数目验证，包括：

在所述数据仓库中查询所述目标数据库表中的数据条数，得到迁移条数；

获取搜索服务器中所述待迁移数据的数据条数，得到待迁移条数；

将所述迁移条数与所述待迁移条数进行对比；

若对比一致，则认定迁移正确完成；

若对比不一致，则将所述迁移条数与所述待迁移条数发送给管理员。