[发明专利]一种数据导入方法、装置、电子设备及存储介质

说明书

本发明公开了一种数据导入方法、装置、电子设备及存储介质，所述方法包括：根据获取到的服务器的登录地址信息、用户名和密码，登录所述服务器；根据待导入数据在所述服务器中的存储路径信息，基于文件传输协议FTP从所述服务器中下载所述待导入数据；根据待导入数据在数据库中的目标路径信息，将所述待导入数据导入至所述数据库。本发明实施例中基于文件传输协议FTP的数据导入方法相较于现有的基于SQL命令行进行数据导入的方法，降低了在导入数据过程中占用的设备运行内存，设备运行速度快，即使在导入大量数据时，也能保证数据快速导入，解决了现有技术中数据导入效率较低的问题。

技术领域

本发明涉及数据库技术领域，尤其涉及一种数据导入方法、装置、电子设备及存储介质。

背景技术

很多公司的服务器中每天会新增很多的数据，为了便于对数据进行管理，需要将服务器中的数据导入到数据库中，通过数据库管理系统实现对数据的管理，例如读取数据、分析数据等。

现有技术在将服务器中的数据导入到数据库中时，一般是基于SQL命令行进行数据导入的。基于命令生成器产生SQL命令集，然后将SQL命令集保存在一个脚本文件中，使用命令执行模块运行脚本文件，实现将数据导入到数据库中。现有技术基于SQL命令行进行数据导入的方案，在进行数据导入时占用设备的运行内存较大，设备运行速度慢，数据导入的效率较低。

发明内容

本发明实施例提供了一种数据导入方法、装置、电子设备及存储介质，用以解决现有的数据导入效率较低的问题。

本发明实施例提供了一种数据导入方法，所述方法包括：

根据获取到的服务器的登录地址信息、用户名和密码，登录所述服务器；

根据待导入数据在所述服务器中的存储路径信息，基于文件传输协议FTP从所述服务器中下载所述待导入数据；

根据待导入数据在数据库中的目标路径信息，将所述待导入数据导入至所述数据库。

进一步地，所述根据待导入数据在所述服务器中的存储路径信息，基于文件传输协议FTP从所述服务器中下载所述待导入数据包括：

根据所述待导入数据的修改时间信息，将所述待导入数据划分至预设数量的分组中，根据待导入数据在所述服务器中的存储路径信息，基于文件传输协议FTP从所述服务器中依次下载每个分组内的待导入数据。

进一步地，所述基于文件传输协议FTP从所述服务器中依次下载每个分组内的待导入数据包括：

根据预设的时间间隔，确定每个下载数据的时间点以及每个时间点与数据修改时间信息的对应关系；

当到达下载数据的时间点时，根据每个时间点与数据修改时间信息的对应关系确定该时间点对应的分组，基于文件传输协议FTP从所述服务器中下载与该时间点对应的分组内的待导入数据。

进一步地，所述根据待导入数据在数据库中的目标路径信息，将所述待导入数据导入至所述数据库包括：

根据待导入数据在数据库中的目标路径信息，通过执行CTL文件控制所述待导入数据导入至所述数据库。

进一步地，所述从所述服务器中下载所述待导入数据之后，根据待导入数据在数据库中的目标路径信息，通过执行CTL文件控制所述待导入数据导入至所述数据库之前，所述方法还包括：

判断下载的所述待导入数据的格式是否与所述CTL文件中配置的文件格式一致，如果是，根据待导入数据在数据库中的目标路径信息，通过执行CTL文件控制所述待导入数据导入至所述数据库，如果否，根据所述CTL文件中配置的文件格式对所述下载的待导入数据的格式进行转换，根据待导入数据在数据库中的目标路径信息，通过执行CTL文件控制格式转换后的待导入数据导入至所述数据库。