[发明专利]数据处理方法、装置、存储介质及电子设备

说明书

本公开提出了一种数据处理方法、装置、存储介质及电子设备，涉及信息技术领域，本方法包括：当利用第一查询模式进行查询时，获取第一查询模式在预设时间段内的解析频率。当解析频率大于或等于预设的解析频率阈值时，确定第一查询模式是否对原始数据已执行过预处理抽取。当已执行过预处理抽取时，提取第一查询模式已抽取过的目标数据。当未执行过预处理抽取时，根据第一查询模式对原始数据进行预处理抽取以提取目标数据。当解析频率小于解析频率阈值时，根据第一查询模式对原始数据进行动态解析以提取目标数据。本公开能够提高数据的查询效率。

技术领域

本公开涉及信息技术领域，尤其涉及一种数据处理方法、装置、存储介质及电子设备。

背景技术

随着互联网、云计算和物联网等信息技术的迅猛发展，相应带来的数据量也是呈现爆发式的增长，要从这些海量的数据中找到有价值的信息，就需要利用大数据的相关技术手段。

在现有技术中，对数据的处理通常有两种方式：SOW(Schema on Write，写数据时定义模式)和SOR(Schema on Read，读数据时定义模式)。其中，SOW是将原始数据在存储前先进行用于将数据结构化的预处理，然后再进行存储，其过程主要是按照预设的查询模式(Schema，Schema中可以定义一项或多项需要从原始数据中提取的数据属性)进行预处理抽取，抽取出的数据的存储结构是按照该查询模式进行组织的，然后将该抽取出的数据存储，当需要对数据进行查询时，可以根据该查询模式对存储的数据直接查询。SOR是将原始数据不经过预处理直接存储，在需要对数据进行查询时对存储的原始数据进行动态解析，动态解析逻辑上可以包括两个步骤：首先，预定义查询模式，再基于预定义的查询模式完成数据的查询(即以预定义的查询模式从原始数据中抽取想要的数据)。两种处理方式的特点各有不同，SOW在查询时不用再进行处理，可以基于预处理后存储的数据直接得到查询结果，查询速度快，但是SOW在预处理过程中消耗的资源较多，存储速度慢，SOR的前期存储过程速度快，资源消耗少，但每一次查询都需要进行动态解析，查询速度慢。因此在现有的数据处理过程中，资源消耗和查询效率二者无法得到兼顾。

发明内容

本公开提供一种数据处理方法、装置、存储介质及电子设备，用以解决数据处理过程中的资源消耗和后期的查询效率不能兼顾的问题。

为了实现上述目的，根据本公开实施例的第一方面，提供一种数据处理方法，所述方法包括：

当利用第一查询模式进行查询时，获取所述第一查询模式在预设时间段内的解析频率；

当所述解析频率大于或等于预设的解析频率阈值时，确定所述第一查询模式是否对原始数据已执行过预处理抽取；

当已执行过预处理抽取时，提取所述第一查询模式已抽取过的目标数据；

当未执行过预处理抽取时，根据所述第一查询模式对所述原始数据进行预处理抽取以提取所述目标数据；

当所述解析频率小于所述解析频率阈值时，根据所述第一查询模式对所述原始数据进行动态解析以提取所述目标数据。

可选的，在利用所述第一查询模式进行查询之前，所述方法还包括：

记录所述第一查询模式在所述预设时间段内每次执行解析操作的历史时间点，得到包括至少一个所述历史时间点的历史时间点序列；其中，所述解析操作包括动态解析或预处理抽取；

获取当前时间点与所述历史时间点序列中的每个所述历史时间点的差值；

根据所述当前时间点与所述历史时间点序列中的每个所述历史时间点的差值确定每个所述历史时间点对应的权重；

根据每个所述历史时间点对应的权重，计算所述解析频率。

可选的，所述根据所述当前时间点与所述历史时间点序列中的每个所述历史时间点的差值确定每个所述历史时间点对应的权重，包括：