[发明专利]数据处理方法、装置、计算机设备和存储介质

权利要求书

1.一种数据处理方法，其特征在于，所述方法包括：

接收数据流，所述数据流中包含压缩数据包；

基于预设数据存储路径，将所述数据流存储至第一分布式存储空间；

按照预设时间间隔以及所述预设数据存储路径，对已存储的所述数据流中的数据进行扫描，检测所述数据流中是否存在信号文件；

若存在所述信号文件，则对所述数据流中的压缩数据包进行解压缩，并基于预设的数据查询路径将解压缩后的数据存储至第二分布式存储空间，以使在所述第二分布式存储空间中进行数据查询。

2.根据权利要求1所述的方法，其特征在于，所述若存在所述信号文件，则对所述数据流中的压缩数据包进行解压缩，包括：

若存在所述信号文件，响应于所述信号文件的触发，将每一压缩数据包按照预设数据块大小进行拆分，得到多个待解压缩的数据块；

按照预设数据分片大小将每一所述待解压缩的数据块进行拆分，得到多个待解压缩的数据分片；

通过调用数据处理线程，对每一所述数据分片中的压缩数据进行解析计算，得到解压缩后的分片数据；

将所述解压缩后的分片数据进行汇总处理，得到解压缩后的报表文件。

3.根据权利要求2所述的方法，其特征在于，所述基于预设的数据查询路径将解压缩后的数据存储至第二分布式存储空间，包括：

针对每一解压缩后的报表文件数据匹配对应的数据查询路径，并基于每一所述数据查询路径将所述解压缩后的报表文件数据存储至所述分布式存储空间的目标存储空间；

提取每一所述解压缩后的报表文件数据的特征信息，生成所述报表文件数据的数据标识；

建立包含所述数据标识与所述数据查询路径对应关系的数据查询列表，将所述数据查询列表推送至前端以进行数据查询。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

接收数据查询请求，所述数据查询请求携带目标数据标识；

根据所述目标数据标识，在所述数据查询列表包含的各数据标识与数据查询路径的对应关系中，确定所述目标数据标识对应的目标数据查询路径；

基于所述目标数据查询路径，在所述第二分布式存储空间中获取目标报表文件数据，并以字节流的形式反馈给前端。

5.一种数据处理装置，其特征在于，所述装置包括：

接收模块，用于接收数据流，所述数据流中包含压缩数据包；

存储模块，用于基于预设数据存储路径，将所述数据流存储至第一分布式存储空间；

检测模块，用于按照预设时间间隔以及所述预设数据存储路径，对已存储的所述数据流中的数据进行扫描，检测所述数据流中是否存在信号文件；

处理模块，用于若存在所述信号文件，则对所述数据流中的压缩数据包进行解压缩，并基于预设的数据查询路径将解压缩后的数据存储至第二分布式存储空间，以使在所述第二分布式存储空间中进行数据查询。

6.一种数据处理系统，其特征在于，所述数据处理系统包括：

数据接入单元，用于接收数据流，所述数据流中包含压缩数据包；

数据存储单元，用于基于预设数据存储路径，将数据流存储至第一分布式存储空间；

数据处理单元，用于按照预设时间间隔以及所述预设数据存储路径，对已存储的所述数据流中的数据进行扫描，检测所述数据流中是否存在信号文件；若存在所述信号文件，则对所述数据流中的压缩数据包进行解压缩，并基于预设的数据查询路径将解压缩后的数据存储至第二分布式存储空间。

7.根据权利要求6所述的系统，其特征在于，所述数据处理系统还包括：

报表数据应用单元，用于接收数据查询请求，根据所述数据查询请求携带的目标数据标识，在数据查询列表包含的各数据标识信息与数据查询路径的对应关系中，确定所述目标数据标识对应的目标查询路径；

基于所述目标查询路径，在所述第二分布式存储空间中获取目标报表文件数据，并以字节流的形式反馈给前端。