[发明专利]数据导入方法、装置及服务器

说明书

本发明提供了一种数据导入方法、装置及服务器，涉及数据库技术领域，该方法包括：使用Apache POI技术，解析excel文件得到欲导入Mysql数据库的数据；获取数据的导入方式，导入方式包括：直接导入和处理后导入；当数据的导入方式为直接导入，通过批处理直接将数据导入Mysql数据库中；当数据的导入方式为处理后导入，根据数据对应的业务需要进行数据处理，并将处理后的数据导入Mysql数据库中。本发明实施例提供的数据导入方法、装置及服务器，支持更多excel版本，提高了解析excel文件的效率，减少数据保存到数据库的时间，提高整体处理效率。

技术领域

本发明涉及数据库技术领域，尤其是涉及一种数据导入方法、装置及服务器。

背景技术

Jxl是一个开源的Java Excel API项目，可以通过Jxl很方便地操作Excel文档。然而使用Jxl在解析小的excel文件时比较有优势，在解析大文件时效率不高，同时Jxl仅支持比较低版本的excel，比如Excel 95、97、2000、2003。在将excel文件中的数据导入到数据库的过程中，存在数据量比较大的情况，此时逐条数据保存到数据库需要频繁进行数据库连接，加大了数据库的连接开销，并且保存数据的效率也不高。

针对上述解析和存入数据库的处理效率不高的问题，目前尚未提出有效解决方案。

发明内容

有鉴于此，本发明的目的在于提供一种数据导入方法、装置及服务器，可以支持更多excel版本，提高大型excel文件中的数据进行解析并存入数据库中的处理效率。

第一方面，本发明实施例提供了一种数据导入方法，包括：使用Apache POI技术，解析excel文件得到欲导入Mysql数据库的数据；获取数据的导入方式，导入方式包括：直接导入和处理后导入；当数据的导入方式为直接导入，通过批处理直接将数据导入Mysql数据库中；当数据的导入方式为处理后导入，根据数据对应的业务需要进行数据处理，并将处理后的数据导入Mysql数据库中。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，获取数据的导入方式包括：接收用户的业务指示；业务指示包括数据存在业务约束和数据不存在业务约束；业务约束包括唯一性约束或与其他数据之间的业务约束；当不存在业务约束时，确定数据的导入方式为直接导入；当存在业务约束时，确定数据的导入方式为处理后导入。

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，通过批处理直接将数据导入Mysql数据库中包括：使用JDBC批处理技术将数据批量保存到Mysql数据库中。

结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，根据数据对应的业务需要进行数据处理包括：当数据与其他数据之间具有业务约束时，使用JDBC的批量处理将数据保存到临时表中；结合临时表和其他数据的业务表创建存储过程，并进行数据业务处理。

结合第一方面的第三种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，在进行数据业务处理的步骤之后还包括：通过存储过程将临时表中的数据更新到数据库的正式表中。

结合第一方面或其第三种可能的实施方式，本发明实施例提供了第一方面的第五种可能的实施方式，其中，根据数据对应的业务需要进行数据处理包括：当数据存在唯一性约束时，通过Mysql中的ON DUPLICATE KEY UPDATE语法进行数据处理。

结合第一方面的第五种可能的实施方式，本发明实施例提供了第一方面的第六种可能的实施方式，其中，在进行数据业务处理的步骤之后还包括：当使用了存储过程进行数据处理时，通过存储过程将处理后的数据导入数据库中；当未使用存储过程进行数据处理时，通过批处理将处理后的数据导入数据库中。