[发明专利]数据处理方法、装置、计算机设备和存储介质

说明书

本申请涉及一种数据处理方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：通过数据接入单元接收数据流，数据流中包含压缩数据包。基于预设数据存储路径，将数据流存储至分布式存储空间。按照预设时间间隔以及预设数据存储路径，对已存储的数据流中的数据进行扫描，检测数据流中是否存在信号文件。若存在信号文件，则对数据流中的压缩数据包进行解压缩，并基于预设的数据查询路径将解压缩后的数据存储至分布式存储空间中。采用本方法提高了数据的读写效率。

技术领域

本申请涉及数据库技术领域，特别是涉及一种数据处理方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术

随着计算机网络与数据库技术的迅速发展和广泛应用，已经使各行各业的信息管理进入到一个崭新的时代。

目前的数据库系统，将报表文件的压缩包解压后，以大字段的方式存储在集中式数据库中，当用户进行数据查询时，在集中式数据库中遍历数据库中的全部数据内容，得到目标报文文件。

然而，集中式数据库的存储位置单一且存储空间有限，针对同一存储位置的数据访问量较大时，导致数据读写性能差，并且当存储的报表文件的数据量逐渐增大时，集中式数据库的存储容量无法满足日益增长的报表数据需求。

发明内容

基于此，有必要针对上述技术问题，提供一种数据处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

第一方面，本申请提供了一种数据处理方法。所述方法包括：

接收数据流，所述数据流中包含压缩数据包；

基于预设数据存储路径，将所述数据流存储至第一分布式存储空间；

按照预设时间间隔以及所述预设数据存储路径，对已存储的所述数据流中的数据进行扫描，检测所述数据流中是否存在信号文件；

若存在所述信号文件，则对所述数据流中的压缩数据包进行解压缩，并基于预设的数据查询路径将解压缩后的数据存储至第二分布式存储空间，以使在所述第二分布式存储空间中进行数据查询。

在其中一个实施例中，所述若存在所述信号文件，则对所述数据流中的压缩数据包进行解压缩，包括：

若存在所述信号文件，响应于所述信号文件的触发，将每一压缩数据包按照预设数据块大小进行拆分，得到多个待解压缩的数据块；

按照预设数据分片大小将每一所述待解压缩的数据块进行拆分，得到多个待解压缩的数据分片；

通过调用数据处理线程，对每一所述数据分片中的压缩数据进行解析计算，得到解压缩后的分片数据；

将所述解压缩后的分片数据进行汇总处理，得到解压缩后的报表文件。

在其中一个实施例中，所述基于预设的数据查询路径将解压缩后的数据存储至第二分布式存储空间，包括：

针对每一解压缩后的报表文件数据匹配对应的数据查询路径，并基于每一所述数据查询路径将所述解压缩后的报表文件数据存储至所述分布式存储空间的目标存储空间；

提取每一所述解压缩后的报表文件数据的特征信息，生成所述报表文件数据的数据标识；

建立包含所述数据标识与所述数据查询路径对应关系的数据查询列表，将所述数据查询列表推送至前端以进行数据查询。

在其中一个实施例中，所述方法还包括：

接收数据查询请求，所述数据查询请求携带目标数据标识；

根据所述目标数据标识，在所述数据查询列表包含的各数据标识与数据查询路径的对应关系中，确定所述目标数据标识对应的目标数据查询路径；