[发明专利]数据处理方法、装置、电子设备以及存储介质

说明书

本公开关于一种数据处理方法、装置、电子设备以及存储介质，涉及数据处理技术领域。本公开至少解决相关技术中，同步存储效率较低的问题。该方法包括：获取至少一个第一元数据表在相邻周期内的变化数据，生成至少一个第二元数据表；从至少一个第二元数据表中，提取与至少一个预置数据访问需求对应的数据，并将提取获得的数据存储至至少一个第三元数据表；将至少一个第三元数据表中的数据，存储至多个第一存储设备。如此，将变化数据分散存储至多个第一存储设备中，能够横向提高存储变化数据的吞吐量，进而提高同步存储速度和效率、减少同步存储的耗时，最终提高对目标数据进行访问等处理的实时性和处理效率。

技术领域

本公开涉及数据处理技术领域，尤其涉及一种数据处理方法、装置、电子设备以及存储介质。

背景技术

一般的，在数据处理过程中，对于元数据表如分区Hive表中存储的场景数据，通常会同步至数据存储设备中，以便通过数据存储设备来实现低延迟（毫秒级）查询上述场景数据的明细信息。

在相关技术中，通过表连接join方式，合并Hive表中存储的场景数据，生成一张大宽表，然后，将大宽表中的场景数据同步存储至数据存储设备。

由于数据存储设备的吞吐量有限，在单位时间内存储的数据量有限，而将场景数据同步至数据存储设备的过程效率较低，需要花费的时间较长，可能需要几十分钟，甚至几个小时，导致对场景数据进行访问等处理的实时性和处理效率较低。

发明内容

本公开提供一种数据处理方法、装置、电子设备以及存储介质，以至少解决相关技术中，数据同步存储效率低、耗时较长的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种数据处理方法，包括：获取至少一个第一元数据表在相邻周期内的变化数据，生成至少一个第二元数据表，至少一个第一元数据表与至少一个第二元数据表一一对应；从至少一个第二元数据表中，提取与至少一个预置数据访问需求对应的数据，并将提取获得的数据存储至至少一个第三元数据表，至少一个第二元数据表的数量与至少一个第三元数据表的数量的对应关系包括以下任一项：一对多关系、多对一关系，以及多对多关系，至少一个第三元数据表与至少一个预置数据访问需求一一对应；将至少一个第三元数据表中的数据，存储至多个第一存储设备，每个第一存储设备用于存储至少一个第三元数据表中的数据。

可选的，上述数据处理方法还包括：上述将至少一个第三元数据表中的数据，存储至多个第一存储设备之后， 响应于客户端发送的数据访问指令，确定目标第一存储设备，数据访问指令用于请求访问目标数据，目标第一存储设备为多个第一存储设备中存储目标数据的第一存储设备；从目标第一存储设备中获取目标数据，并将目标数据发送给客户端。

可选的，“从至少一个第二元数据表中，提取与至少一个预置数据访问需求对应的数据，并将提取获得的数据存储至至少一个第三元数据表”，包括：获取至少一个预置数据访问需求中的每个预置数据访问需求；从第二元数据表中，依次提取与每个预置数据访问需求对应的列数据，一个列数据对应一个数据标识；按照数据标识重新连接提取获得的列数据，并将连接的结果对应的数据，依次存储至至少一个第三元数据表中的每个第三元数据表。

可选的，上述数据处理方法还包括：上述将至少一个第三元数据表中的数据，存储至多个第一存储设备之前，在预置数据访问需求包括预置时间标识的情况下，为预置数据访问需求对应的第三元数据表中的数据增加时间戳信息；数据访问指令还包括目标数据对应的数据更新时间；从目标第一存储设备中获取目标数据，并将目标数据发送给客户端，包括：在目标第一存储设备中存储第一异常数据的情况下，如果数据更新时间在第一异常数据对应的时间戳信息之前，则从目标第一存储设备中获取目标数据，并将目标数据发送给客户端；在目标第一存储设备中存储第一异常数据的情况下，如果数据更新时间与第一异常数据对应的时间戳信息相同，或者数据更新时间在第一异常数据对应的时间戳信息之后，则获取与第一异常数据对应的异常数据标识信息，并将异常数据标识信息发送给客户端。