[发明专利]数据导出方法、装置、设备及存储介质

说明书

本申请提供一种数据导出方法、装置、设备及存储介质，该方法包括：接收来自数据消费方的数据导出请求，其中数据导出请求包括数据库的参数、数据表的参数以及对数据表的限定条件；根据预配置的数据导出脚本，数据库的参数，数据表的参数以及对数据表的限定条件，生成数据导出指令；通过执行数据导出指令获取目标数据，生成数据导出文件，向数据消费方发送数据导出文件。上述方案基于预配置的数据导出脚本，能够快速生成数据导出指令，提升了数据导出的效率。

技术领域

本申请涉及数据处理领域，尤其涉及一种数据导出方法、装置、设备及存储介质。

背景技术

随着信息技术的不断发展，数据量呈爆发式增长，数据处理平台需要将数据进行分类、存储、分析和导出。在数据量较小或交互次数较少时，数据处理平台能够快速响应，执行相应的数据任务。

对于交互项强、复杂、大型的数据处理平台，数据量庞大、字段数较多。随着导出数据任务量以及导出数据量的不断增加，平台内存压力过大，可能导致数据导出失败。因此，亟需一种可以灵活设置导出规则的数据导出方案，以提高数据导出的效率。

发明内容

本申请实施例提供一种数据导出方法、装置、设备及存储介质，提高数据导出的效率。

第一方面，本申请实施例提供一种数据导出方法，包括：

接收来自数据消费方的数据导出请求，所述数据导出请求包括数据库的参数，数据表的参数以及对数据表的限定条件；

根据预配置的数据导出脚本，所述数据库的参数，所述数据表的参数以及对数据表的限定条件，生成数据导出指令；

通过执行所述数据导出指令获取目标数据，生成数据导出文件；

向所述数据消费方发送所述数据导出文件。

在本申请的一个可选实施例中，所述数据导出请求还包括预设的数据导出周期；所述方法还包括：

按照所述数据导出周期定期生成所述数据导出指令。

在本申请的一个可选实施例中，所述数据导出请求还包括所述数据导出文件的预设输出路径；所述向所述数据消费方发送所述数据导出文件，包括：

按照所述预设输出路径向所述数据消费方法发送所述数据导出文件。

在本申请的一个可选实施例中，所述数据导出请求还包括所述数据消费方的账户信息，所述账户信息包括用户名和密文形式的密码；所述方法还包括：

采用文本分析工具awk对所述账户信息进行解析，验证所述数据消费方的所述账户信息是否具有数据导出权限；

在确定所述数据消费方具有数据导出权限后，执行所述根据所述数据导出请求生成数据导出指令的步骤。

在本申请的一个可选实施例中，所述通过执行所述数据导出指令获取目标数据，生成数据导出文件，包括：

执行所述数据导出指令，根据所述数据导出指令的返回值确定所述数据导出指令是否执行成功；

若确定所述数据导出指令执行成功，获取目标数据，根据所述目标数据生成所述数据导出文件。

在本申请的一个可选实施例中，所述根据所述目标数据生成所述数据导出文件，包括：

对所述目标数据进行格式转换和数据压缩，生成所述数据导出文件。

第二方面，本申请实施例提供一种数据导出装置，包括：

接收模块，用于接收来自数据消费方的数据导出请求，所述数据导出请求包括数据库的参数，数据表的参数以及对数据表的限定条件；