[发明专利]大数据导出方法、装置、设备及存储介质

说明书

本发明公开了一种大数据导出方法、装置、设备及存储介质，针对现有的大数据导出方法不能满足用户的需求的问题，通过初始化一excel临时文件，生成一writer对象；根据类别获取数据，并组成相应的数据集；将数据集的名称设置为键，数据集的行数据设置为值，组成二维数组；将类别名作为工作簿的名称，根据获取的数据量及预设的工作簿模式大小，生成一个或多个工作簿，并在临时文件中构造出相应的一个或多个工作簿的writer对象；再将二维数组中的数据存入writer对象相应的工作簿中，在临时文件中形成一虚拟的excel文件；最后将临时文件中的数据以压缩的方式写入目标文件中。通过该大数据导出方法可减小服务器的内存压力，还可缩短数据导出的时间。

技术领域

本发明属于数据导出的技术领域，尤其涉及一种大数据导出方法、装置、设备及存储介质。

背景技术

在以往，系统生成的数据导出到excel是根据原生excel的方法，将数据一行、一列写入文件。

但随着业务的发展，数据量日积月累的情况下，这种方法产生了瓶颈与问题。具体有以下几点：第一、数据量大意味着导出时间久，不能满足用户对导出时间的要求；第二、用户对导出的内容布局要求越来越多，如根据不同场景导出到不同的工作簿；第三、对于服务器来说，数据量越大，其处理所需要的内存消耗也越大，可能会导致内存消耗过大而使程序中断或者导出数据很慢。

发明内容

本发明的目的是提供一种大数据导出方法、装置、设备及存储介质，可减小服务器内存压力的同时，缩短数据导出的时间。

为解决上述问题，本发明的技术方案为：

一种大数据导出方法，包括：

初始化一excel临时文件，生成一writer对象；

根据类别获取数据，并组成相应的数据集；将数据集的名称设置为键，数据集的行数据设置为值，组成二维数组；

将类别名作为工作簿的名称，根据获取的数据量及预设的工作簿模式大小，生成一个或多个工作簿，并在临时文件中构造出相应的一个或多个工作簿的writer对象；

将二维数组中的数据存入writer对象相应的工作簿中，在临时文件中形成一虚拟的excel文件；

将临时文件中的数据以压缩的方式写入目标文件中。

根据本发明一实施例，所述初始化一excel临时文件，生成一writer对象进一步包括：

在C:\Windows\Temp目录下创建一excel临时文件.tmp，预加载excel临时文件的基本属性及访问权限，设置excel临时文件的单元格格式为常规，并生成一writer对象。

根据本发明一实施例，所述根据类别获取数据，并组成相应的数据集进一步包括：

根据业务场景，预先设置数据的类别；

根据类别，循环查找并获取数据库中的数据，并生成相应类别的数据集；以类别名作为数据集的名称。

根据本发明一实施例，所述将二维数组中的数据存入writer对象相应的工作簿中，在临时文件中形成一虚拟的excel文件进一步包括：

初始化工作簿，清除工作簿中的数据；

切换至当前需要写入数据的工作簿，从工作簿的第二行开始，将单元格的数字类型的值超过11或是特殊字符的单元格的格式设置为文本格式；

按类别，将二维数组中的数据写入writer对象中相应的工作簿中，完成一个工作簿的数据写入，就清空相应数组中的数据，释放内存；

当二维数值中的数据都存入writer对象中后，在临时文件中形成一虚拟的excel文件。