[发明专利]数据导入方法及装置

说明书

本申请提供了一种数据导入方法及装置，其中，该方法包括：接收前端发送的目标数据文件，该目标数据文件为该前端判定的未超出数据量限制阈值的数据文件；再次判断所述目标数据文件是否超出所述数据量限制阈值，若否，则将所述目标数据文件上传至服务器；将服务器的所述目标数据文件导入目标数据库。本申请能够提高数据导入的可靠性，进而能够提高系统运行的可靠性。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种数据导入方法及装置。

背景技术

随着金融领域的发展，对金融业务处理过程中的数据量和数据可靠性要求越来高，因此，需要有大批量体外数据(非其它数据库中的数据)导入ORACLE数据库。

如果采用同步导入的方式导入数据，不论是采用流式处理数据，还是将数据全部加载到内存后同步插入数据库，都非常消耗资源，很可能导致CPU冲高，内存溢出，致使其它功能不可用，甚至服务器宕机。

发明内容

针对现有技术中的问题，本申请提出了一种数据导入方法及装置，能够提高数据导入的可靠性，进而能够提高系统运行的可靠性。

为了解决上述技术问题，本申请提供以下技术方案：

第一方面，本申请提供一种数据导入方法，包括：

接收前端发送的目标数据文件，该目标数据文件为该前端判定的未超出数据量限制阈值的数据文件；

再次判断所述目标数据文件是否超出所述数据量限制阈值，若否，则将所述目标数据文件上传至服务器；

将服务器的所述目标数据文件导入目标数据库。

进一步地，所述接收前端发送的目标数据文件，包括：

基于预设的数据导入状态表，判断当前的数据导入状态是否为已导入状态，若是，则接收所述前端发送的目标数据文件；

相对应的，在所述将所述目标数据文件上传至服务器之后，还包括：

将所述数据导入状态变更为待导入状态；

将服务器的所述目标数据文件导入目标数据库，并在导入完成后将所述数据导入状态变更为已导入状态。

进一步地，所述的数据导入方法，还包括：

将所述数据导入状态输出至所述前端并显示。

进一步地，所述的数据导入方法，还包括：

若所述数据导入状态发生变更，则将变更后的数据导入状态输出至所述前端并显示。

进一步地，所述将服务器的所述目标数据文件导入目标数据库，包括：

若当前系统时间达到预设的导入时间，则将服务器的所述目标数据文件导入目标数据库。

进一步地，在所述将服务器的所述目标数据文件导入目标数据库之后，还包括：

删除服务器的目标数据文件。

进一步地，所述将服务器的所述目标数据文件导入目标数据库，还包括：

将所述目标数据文件中导入所述目标数据库失败的数据，存储在预设的数据导入失败文件中。

第二方面，本申请提供一种数据导入装置，包括：

接收模块，用于接收前端发送的目标数据文件，该目标数据文件为该前端判定的未超出数据量限制阈值的数据文件；

判断模块，用于再次判断所述目标数据文件是否超出所述数据量限制阈值，若否，则将所述目标数据文件上传至服务器；

导入模块，用于将服务器的所述目标数据文件导入目标数据库。