[发明专利]数据导出方法、装置、计算机设备和存储介质

说明书

本申请涉及人工智能技术领域，提供一种数据导出方法、装置、计算机设备和存储介质，方法包括：接收数据导出请求，从数据库确定与请求参数对应的待导出数据，查询待导出数据的数据量；若数据量大于数据量阈值，从数据库获取与请求参数对应的待导出数据，将待导出数据存储至导出数据表；向客户端返回携带有预设主键的文件下载url；基于导出数据表、任务调度工具与框架工具生成与待导出数据对应的目标文件，并基于与预设主键对应的id信息将目标文件上传至目标存储盘内；接收文件下载url的点击操作，从所述目标存储盘中将目标文件导出至客户端。本申请能提高数据导出的智能性。本申请还可以应用于区块链领域，上述目标文件等数据可以存储于区块链上。

技术领域

本申请涉及人工智能技术领域，具体涉及一种数据导出方法、装置、计算机设备和存储介质。

背景技术

随着网络信息技术的发展，基于业务的需求，越来越多的用户需要对业务文件进行导出，例如在薪酬管理的业务场景中需要对销售保单数据进行以文件形式导出以供后续的数据分析，且每次的导出数据量从千级数据到百万级数据不等。目前，在进行数据导出时，如果需要导出的数据较少，可以直接将数据以文件形式导出。但是，当需要导出的数据量较大时，如果一次性将数据导出，则会造成导出时间变久，且数据导出系统的性能会存在极大的压力，容易导致出现内存溢出异常。并且由于页面http请求特性，当导出时间超出一定时间时会造成超时的情况，则会导致数据导出失败，从而影响用户体验。

发明内容

本申请的主要目的为提供一种数据导出方法、装置、计算机设备和存储介质，旨在解决当需要导出的数据量较大时，采用现有的数据导出方式容易出现数据导出失败的情况的技术问题。

本申请提出一种数据导出方法，所述方法包括步骤：

接收客户端提交的数据导出请求；其中，所述数据导出请求携带请求参数；

从预设数据库中确定出与所述请求参数对应的待导出数据，并查询出所述待导出数据的数据量；

判断所述数据量是否大于预设的数据量阈值；

若大于所述数据量阈值，从所述预设数据库中获取与所述请求参数对应的所述待导出数据，并将所述待导出数据存储至预设的导出数据表；

向所述客户端返回携带有预设主键的文件下载url；

基于所述导出数据表、预设的任务调度工具与预设的框架工具生成与所述待导出数据对应的目标文件，并基于与所述预设主键对应的id信息将所述目标文件上传至预设的目标存储盘内；

在所述目标文件成功上传至所述目标存储盘内后，若接收到所述客户端触发的对于所述文件下载url的点击操作，基于所述文件下载url从所述目标存储盘中查询出所述目标文件，并将所述目标文件返回给所述客户端。

可选地，所述基于所述导出数据表、预设的任务调度工具与预设的框架工具生成与所述待导出数据对应的目标文件，并基于与所述预设主键对应的id信息将所述目标文件上传至预设的目标存储盘内的步骤，包括：

步骤A：获取与所述预设数据库对应的预设的导出数据阈值；

步骤B：判断所述数据量是否大于所述导出数据阈值；

步骤C：若是，基于所述导出数据阈值与所述数据量将所述导出数据表内的待导出数据划分成多个分页数据集，并基于所述分页数据集的数量分别对各所述分页数据集设置导出编号；其中，所述导出编号为整数，且所述导出编号的数值范围为1至n，所述n为所述分页数据集的数量；

步骤D：基于所述任务调度工具扫描出导出编号为i的指定分页数据集，并将所述指定分页数据集存储至预设列表内；其中，所述i为整数且所述i的初始值为1；