[发明专利]数据处理方法及装置、存储介质及电子设备

说明书

本发明提供了一种数据处理方法及装置、存储介质及电子设备，其中，先获取目标查询语句；对目标查询语句进行解析，获得各个数据表的依赖信息；当接收到预设的传输队列传输的业务数据时，确定业务数据的数据类型；在业务数据的数据类型为新增类型或修改类型的情况下，在各个数据表中确定业务数据所属的目标数据表；根据目标数据表和依赖信息判断存储区域中是否存在与业务数据相匹配的数据；若存在与业务数据相匹配的数据，则将业务数据和该数据组成宽表数据；将宽表数据存储到宽表中。能够通过数据表的依赖信息确定出与业务数据相匹配的数据，然后存储到一张宽表中，从而能够在一张宽表中获得用户所需的查询结果，极大的提升了查询效率。

技术领域

本发明涉及数据处理技术领域，特别涉及一种数据处理方法及装置、存储介质及电子设备。

背景技术

近年来，随着计算机技术的发展，大数据处理技术也越来越广泛的应用在各个领域中，例如，电子商务领域。在一些大数据应用场景下，通常需要对海量数据进行实时处理，然后存储到数据仓库中，以满足数据查询需求，然而，在涉及到多个关联表查询需求时，通常需要关联多个子表才能获得查询结果，查询效率低。

发明内容

本发明所要解决的技术问题是提供一种数据处理方法，能够提高数据查询效率。

本发明还提供了一种数据处理装置，用以保证上述方法在实际中的实现及应用。

一种数据处理方法，包括：

响应于数据处理指令，获取所述数据处理指令对应的目标查询语句；

对所述目标查询语句进行解析，获得各个数据表的依赖信息；

当接收到预设的传输队列传输的业务数据时，确定所述业务数据的数据类型；

在所述业务数据的数据类型为新增类型或修改类型的情况下，在各个所述数据表中确定所述业务数据所属的目标数据表；

根据所述业务数据所属的目标数据表和所述依赖信息判断预设的存储区域中是否存在与所述业务数据相匹配的数据；

若所述存储区域中存在与所述业务数据相匹配的数据，则将所述业务数据和所述数据组成宽表数据；

将所述宽表数据存储到预设的宽表中。

上述的方法，可选的，还包括：

在所述业务数据的数据类型为删除类型的情况下，获得所述业务数据对应的索引信息；

删除预设宽表中的与所述索引信息相匹配的数据。

上述的方法，可选的，还包括：

若所述数据库中不存在与所述业务数据相匹配的数据，则将所述业务数据缓存到所述存储区域中。

上述的方法，可选的，所述将所述宽表数据存储到预设的宽表之后，还包括：

当接收到查询指令时，在所述宽表中查询与所述查询指令相匹配的宽表数据，并输出与所述查询指令相匹配的宽表数据。

上述的方法，可选的，获取所述数据处理指令对应的目标查询语句，包括：

获取所述数据处理指令中包含的计算模型；

将所述计算模型转换成所述数据处理指令对应的目标查询语句。

上述的方法，可选的，所述根据所述业务数据所属的目标数据表和所述依赖信息判断预设的存储区域中是否存在与所述业务数据相匹配的数据，包括：

根据所述依赖信息确定与业务数据所属的目标数据表相关联的数据表；