[发明专利]一种大批量数据导出方法、装置、终端及介质

说明书

本申请公开了一种大批量数据导出方法、装置、终端及介质，本申请提供的方案通过将一个大型数据导出任务拆分成多个子任务，再通过并发执行子任务调度，提高了数据处理的并发能力，减少服务器线程执行的压力，同时，通过将大型任务拆分为多个子任务，再基于拆分后的子任务生成导出数据的索引信息，按照索引信息执行数据的搜索和导出，能够减少单次数据导出任务中数据搜索的空间跨度，降低数据表的检索复杂度，从而提升大批量数据的查询、导出效率。

技术领域

本申请涉及大数据技术领域，尤其涉及一种大批量数据导出方法、装置、终端及介质。

背景技术

随着信息技术的发展，目前许多的智能化平台都需要采用数据库存储各种庞大的过程、结果数据，而很多资料和报表都以Excel文件方式保存、查询、汇总、导出，因此Excel数据的查询、导出是非常重要的。

现有的大批量数据导出Excel方案可以采用Java开源框架POI、JXL等，PHP的有PHPExcel等，但整个技术栈接入人力花费耗时和增加服务器资源消耗；在导出大量数据时，一般的导出流程会根据关联的表数据、分页偏移量、是否排序等查询获取数据，导致数据库查询效率低下，导出数据耗时过长，消耗大量服务器CPU资源，影响用户体验。

发明内容

本申请提供了一种大批量数据导出方法、装置、终端及介质，用于解决现有大批量数据导出机制存在的数据库查询效率低下，导出数据耗时过长的技术问题。

为解决上述技术问题，本申请第一方面提供了一种大批量数据导出方法，包括：

当收到数据导出任务时，将所述数据导出任务拆分成多个导出子任务；

根据所述导出子任务，通过任务并发方式，生成各个所述导出子任务对应的导出数据索引信息，其中，所述导出数据索引信息用于定位导出数据；

根据所述导出数据索引信息进行数据读取，分别获得各个所述导出子任务对应的导出数据；

输出所述导出数据。

优选地，所述将所述数据导出任务拆分成多个导出子任务具体包括：

根据所述数据导出任务中的导出数据总量，结合预设的子任务数量，将所述数据导出任务拆分成多个导出子任务，其中，所述导出子任务的数量与所述子任务数量相对应。

优选地，所述将所述数据导出任务拆分成多个导出子任务具体包括：

根据所述数据导出任务中的导出数据总量，结合预设的子任务导出数据量，将所述数据导出任务拆分成多个导出子任务，其中，每个所述导出子任务的导出数据量与所述子任务导出数据量相对应。

优选地，所述根据导出子任务，通过任务并发方式，生成各个导出子任务对应的导出数据索引信息具体包括：

根据所述导出子任务，结合通过任务并发方式，读取导出数据的索引字段，根据所述索引字段，生成各个所述导出子任务的导出数据索引信息。

优选地，所述索引字段包括：主键或唯一键。

优选地，所述输出各个所述导出数据之前还包括：

对所述导出数据进行分类打包。

优选地，所述对所述导出数据进行分类打包具体包括：

根据导出数据、导出子任务以及数据导出任务之间的关系，将属于同一数据导出任务的导出数据进行打包。

同时，本申请第二方面还提供了一种大批量数据导出装置，包括：

任务拆分单元，用于当收到数据导出任务时，将所述数据导出任务拆分成多个导出子任务；