[发明专利]一种数据处理方法、装置、电子设备、及计算机存储介质

说明书

本申请公开了一种数据处理方法、装置、电子设备、及计算机存储介质，可应用于大数据领域。该方法包括获取用户输入结构化查询语言SQL语句；对SQL语句进行解析，确定待查询数据，以及待查询数据的数据量；对数据量和待查询数据进行处理，确定分页数，以及每一分页所对应的待查询数据；基于多进程数对每一分页所对应的待查询数据进行分页多进程查询，导出每一分页对应的固定格式文件，其中，多进程数是基于分页数确定的。在本发明实施例中，根据SQL语句所要查询的数据量，以开启多线程进行分页数据查询，并在进行流式数据处理后，导出每一分页对应的固定格式文件。通过上述方式能够减少处理时间，且能够避免导出处理，进而防止系统宕机。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据处理方法、装置、电子设备、及计算机存储介质。

背景技术

目前，可使用数据库Gbase官方工具GBase8a_MPP_Cluster_GStudio选择需要导出的数据，以对数据进行导出操作。当需要导出的数据的数据较多时，通过上述方式容易造成导出处理时间较长，且容易出现导出处理失败，进而造成系统宕机。

发明内容

有鉴于此，本发明实施例提供一种数据处理方法、装置、电子设备、及计算机存储介质，以解决现有技术中出现的处理时间较长，且容易出现导出处理失败的问题。

为实现上述目的，本发明实施例提供如下技术方案：

本发明实施例第一方面示出了一种数据处理方法，所述方法包括：

获取用户输入结构化查询语言SQL语句；

对所述SQL语句进行解析，确定待查询数据，以及所述待查询数据的数据量；

对所述数据量和所述待查询数据进行处理，确定分页数，以及每一分页所对应的待查询数据；

基于多进程数对每一分页所对应的待查询数据进行分页多进程查询，导出每一分页对应的固定格式文件，其中，所述多进程数是基于所述分页数确定的。

可选的，还包括：

在获取用户输入的待查询数据对应结构化查询语言SQL语句之后，判断所述SQL语句是否符合预设SQL规范；

若符合，执行对所述SQL语句进行解析，确定待查询数据的数据量这一步骤；

若不符合，输出提示信息，提示用户重新输入对应的SQL语句。

可选的，所述对所述数据量和所述待查询数据进行处理，确定分页数，以及每一分页所对应的待查询数据，包括：

按照预设分页规则对所述数据量进行计算，得到对应的分页数；

基于所述分页数对所述数据量对应的待查询数据进行划分，得到每一分页所对应的待查询数据。

可选的，所述基于多进程数对每一分页所对应的待查询数据进行分页多进程查询，导出每一分页对应的固定格式文件，包括：

基于所述分页数设置对应的多线程数；

基于所述多线程数对每一分页所对应的待查询数据进行分页多进程查询，得到每一分页的查询结果；

针对每一分页，将所述查询结果导出生成固定格式文件。

可选的，还包括：

按照预设存放路径将所述每一分页对应的固定格式文件进行存储。

本发明实施例第二方面示出了一种数据处理装置，所述装置包括：

获取单元，用于获取用户输入结构化查询语言SQL语句；

解析单元，用于对所述SQL语句进行解析，确定待查询数据，以及所述待查询数据的数据量；