[发明专利]数据导出方法、装置、计算机设备和存储介质

权利要求书

1.一种数据导出方法，其特征在于，包括：

接收客户端提交的数据导出请求；其中，所述数据导出请求携带请求参数；

从预设数据库中确定出与所述请求参数对应的待导出数据，并查询出所述待导出数据的数据量；

判断所述数据量是否大于预设的数据量阈值；

若大于所述数据量阈值，从所述预设数据库中获取与所述请求参数对应的所述待导出数据，并将所述待导出数据存储至预设的导出数据表；

向所述客户端返回携带有预设主键的文件下载url；

基于所述导出数据表、预设的任务调度工具与预设的框架工具生成与所述待导出数据对应的目标文件，并基于与所述预设主键对应的id信息将所述目标文件上传至预设的目标存储盘内；

在所述目标文件成功上传至所述目标存储盘内后，若接收到所述客户端触发的对于所述文件下载url的点击操作，基于所述文件下载url从所述目标存储盘中查询出所述目标文件，并将所述目标文件返回给所述客户端。

2.根据权利要求1所述的数据导出方法，其特征在于，所述基于所述导出数据表、预设的任务调度工具与预设的框架工具生成与所述待导出数据对应的目标文件，并基于与所述预设主键对应的id信息将所述目标文件上传至预设的目标存储盘内的步骤，包括：

步骤A：获取与所述预设数据库对应的预设的导出数据阈值；

步骤B：判断所述数据量是否大于所述导出数据阈值；

步骤C：若是，基于所述导出数据阈值与所述数据量将所述导出数据表内的待导出数据划分成多个分页数据集，并基于所述分页数据集的数量分别对各所述分页数据集设置导出编号；其中，所述导出编号为整数，且所述导出编号的数值范围为1至n，所述n为所述分页数据集的数量；

步骤D：基于所述任务调度工具扫描出导出编号为i的指定分页数据集，并将所述指定分页数据集存储至预设列表内；其中，所述i为整数且所述i的初始值为1；

步骤E：基于所述框架工具对所述预设列表内的指定分页数据集进行数据转换得到对应的字节流文件，并基于所述预设主键为所述字节流文件生成指定id信息；

步骤F：基于所述指定id信息将所述字节流文件上传至所述目标存储盘内，并删除所述预设列表内的数据；

步骤G：令i＝i+1，重复执行步骤D-步骤F直至i＝n，以完成将所有所述分页数据集对应的所有字节流文件上传至所述目标存储盘内。

3.根据权利要求2所述的数据导出方法，其特征在于，所述基于所述任务调度工具扫描出导出编号为i的指定分页数据集，并将所述指定分页数据集存储至预设列表内的步骤，包括：

获取预设的数据数量；

基于所述数据数量将所述指定分页数据集划分为多个子数据集合；

生成与所述各子数据集合分别对应的数据存储任务，并从预设的所有处理线程中为每一个所述数据存储任务配置对应的指定处理线程；

对于每一个所述数据存储任务，通过所述任务调度工具对所述数据存储任务进行解析，获取所述数据存储任务的业务逻辑和执行时间；

在所述执行时间到达时，控制与所述数据存储任务对应的指定处理线程按照所述业务逻辑执行所述数据存储任务，以将所述数据存储任务存储至所述预设列表内。

4.根据权利要求1所述的数据导出方法，其特征在于，所述基于与所述预设主键对应的id信息将所述目标文件上传至预设的目标存储盘内的步骤之前，包括：

获取与所述数据量对应的占用内存数值；

从所述存储系统中包含的所有存储盘中筛选出剩余内存大于所述占用内存数值的第一存储盘；

从所有所述第一存储盘中筛选出在预设时间周期内的文件存储次数大于预设的次数阈值的第二存储盘；

从所有所述第二存储盘中筛选出在预设时间周期内的存储内存值大于预设的内存阈值的第三存储盘；

计算各所述第三存储盘在所述预设时间周期内的文件清理分值；

从所有所述第三存储盘中筛选出文件清理分值最小的存储盘，得到所述目标存储盘。