[发明专利]数据导入方法、装置、设备及计算机程序产品

说明书

本发明涉及金融科技(Fintech)技术领域，公开了一种数据导入方法，所述方法包括：确定对目标数据库的并发数据导入任务；获取并计算各并发数据导入任务上一次的实际导入速率之和；若和大于0，则获取目标数据库的安全TPS、安全IOPS、当前TPS和当前IOPS；计算当前TPS与安全TPS之差得到TPS偏差，计算当前IOPS与安全IOPS之差得到IOPS偏差；根据TPS偏差和IOPS偏差的大小确定偏差值较大的目标当前指标；根据目标当前指标和并发数据导入任务的预设优先级确定各并发数据导入任务的最优导入速率，按照最优导入速率执行并发数据导入任务。本发明实现了将有限的数据库资源优先分配给最重要的任务。

技术领域

本发明涉及金融科技(Fintech)技术领域，尤其涉及数据导入方法、装置统、设备及计算机程序产品。

背景技术

随着计算机技术的发展，越来越多的技术(大数据、分布式、区块链Blockchain、人工智能等)应用在金融领域，传统金融业正在逐步向金融科技(Fintech)转变，但由于金融行业的安全性、实时性要求，也对数据导入导出技术提出了更高的要求。

由于DB(database，数据库)的性能瓶颈，同一时刻对DB进行大量数据导入操作时，可能对DB所在机器产生较高的负载，将导致DB出现性能压力，进而会影响服务的稳定。现有技术中，在对DB的数据导入速度进行控制时，是通过人工根据经验手动设置的数据导入速度，这种数据导入速度的设置方案对管理人员的经验依赖性极高，对于多个重要程度不一样的任务，无法保证将有限的数据库资源优先分配给最重要的任务。

发明内容

本发明的主要目的在于提出一种数据导入方法、装置、设备及计算机程序产品，旨在解决现有的数据库的数据导入速度配置的智能性和及时性不高的技术问题。

为实现上述目的，本发明提供一种数据导入方法，所述数据导入方法包括如下步骤：

确定对目标数据库的并发数据导入任务；

获取各所述并发数据导入任务上一次的实际导入速率；

计算各所述并发数据导入任务上一次的实际导入速率之和，得到当前并发导入速率；

若所述当前并发导入速率大于0，则获取所述目标数据库的安全每秒处理事务数TPS、安全每秒进行读写操作的次数IOPS、当前TPS和当前IOPS；

计算所述当前TPS与所述安全TPS之差，得到TPS偏差，计算所述当前IOPS与所述安全IOPS之差，得到IOPS偏差；

根据所述TPS偏差和IOPS偏差的大小，确定偏差值较大的目标当前指标，所述目标当前指标为所述当前TPS和当前IOPS中的一个；

根据所述目标当前指标和所述并发数据导入任务的预设优先级确定各所述并发数据导入任务的最优导入速率，按照与各所述并发数据导入任务按照对应的最优导入速率执行所述并发数据导入任务。

可选地，所述根据所述目标当前指标和所述并发数据导入任务的预设优先级确定各所述并发数据导入任务的最优导入速率的步骤包括：

根据所述并发数据导入任务的数量和各所述并发数据导入任务的预设优先级，确定各所述并发数据导入任务的并发资源占比；

根据所述目标当前指标对应的目标安全指标、所述目标当前指标和当前并发导入速率，确定期待并发导入速率；

计算各所述并发数据导入任务的所述并发资源占比和期待并发导入速率之积，作为所述并发数据导入任务的最优导入速率。

可选地，所述确定对目标数据库的并发数据导入任务的步骤之前，还包括：

获取对目标数据库的原始数据导入任务，基于所述目标数据库的预设最大并发值控制各所述原始数据导入任务进行抢锁；