[发明专利]数据导入方法及装置、可读存储介质

说明书

本发明提供了一种数据导入方法，所述数据导入方法包括如下步骤：监控到待导入数据文件后，获取所述待导入数据文件对应的解析指令；控制一个或多个数据执行线程按照所述解析指令对所述待导入数据文件进行解析；将所述解析文件导入临时数据表中，并根据所述临时数据表的数据更新目标数据表的数据。本发明还提供了一种数据导入装置和可读存储介质。这样，本发明提供的技术方案将数据导入分解成目录监控、数据导入等子阶段，每一阶段通过一个或多个线程单独实现，以降低了数据导入过程复杂度，增强了数据导入过程的可控性。

技术领域

本发明涉及网络数据技术领域，特别涉及一种数据导入方法及装置、可读存储介质。

背景技术

目前，系统与系统之间需要进行数据交换，而交换方式一般为从源系统生成数据文件，然后将数据文件传入目标系统，最后，由目标系统将数据文件导入到数据表中。

对于数据比较多的项目，现有方案一般采用手工数据导入工具，比如：采用MYSQL(关系型数据库管理系统)、SQL Server(Structured Query LanguageServer)等工具，但现有的方案只能通过手工导入文件，无法实现自动导入，且导入的数据文件的过程较为复杂，可控性低。

发明内容

本发明的主要目的是提供一种数据导入方法及装置、可读存储介质，解决了现有数据导入只能通过手工导入文件，无法实现自动导入，且导入过程较为复杂，可控性低的问题。

为实现上述目的，本发明提出了一种数据导入方法，所述数据导入方法包括：

监控到待导入数据文件后，获取所述待导入数据文件对应的解析指令；

控制一个或多个数据执行线程按照所述解析指令对所述待导入数据文件进行解析；

将解析后的所述待导入数据文件导入临时数据表中，并根据所述临时数据表的数据更新目标数据表的数据。

可选地，所述监控到待导入数据文件后，获取所述待导入数据文件对应的解析指令的步骤之前，还包括：

获取待监控目录的文件锁；

若所述文件锁获取成功，则对所述待监控目录的数据文件进行监控。

可选地，当所述待导入数据文件包括多个时，所述监控到待导入数据文件后，获取所述待导入数据文件对应的解析指令的步骤包括：

监控到待导入数据文件后，将所述待导入数据文件添加至导入任务队列；

按照所述导入任务队列依次获取各个所述待导入数据文件对应的解析指令。

可选地，所述将所述待导入数据文件添加至导入任务队列的步骤包括：

获取监控到各个所述待导入数据文件的时间点；

根据所述时间点对所述待导入数据文件进行排序，得到排序结果；

根据所述排序结果将所述待导入数据文件添加至所述导入任务队列。

可选地，所述将解析后的所述待导入数据文件导入临时数据表中，并根据所述临时数据表的数据更新目标数据表的数据的步骤包括：

新建临时数据表，并将解析后的所述待导入数据文件导入所述临时数据表中；

删除所述目标数据表中与所述临时数据表的数据对应的数据，并将所述临时数据表的数据导入至所述目标数据表。

可选地，所述将解析后的所述待导入数据文件导入临时数据表中，并根据所述临时数据表的数据更新目标数据表的数据的步骤之后，还包括：

在所述目标数据表中的数据更新成功后，获取所述目标数据表中更新后的数据文件携带的后置动作任务；