[发明专利]一种数据查询方法、装置和存储介质

说明书

本申请涉及一种数据查询方法、装置和存储介质，该方法包括：获取逻辑宽表的第一查询SQL；所述第一查询SQL用于对所述逻辑宽表进行数据查询；所述逻辑宽表根据多个具有相同维度属性的物理表映射生成；根据所述第一查询SQL和所述逻辑宽表的元数据，生成所述物理表的查询SQL集合；所述查询SQL集合用于对所述第一查询SQL关联的多个物理表进行数据查询；所述元数据根据所述逻辑宽表和所述物理表的映射关系生成；执行所述查询SQL集合，进行数据查询。通过本申请，解决了现有技术中采用物理宽表进行数据查询，导致数据查询的性能差的问题。

技术领域

本申请涉及计算机技术领域，特别是涉及一种数据查询方法、装置和存储介质。

背景技术

在对线上提供数据分析的服务时，为了保证查询的便捷性和高性能，在数据集市层会对于分析主题的内容将多个业务域的数据合并到一张物理表中形成物理宽表。完成物理宽表的建设后需要将物理宽表同步到OLAP(联机分析处理，Online AnalyticalProcessing)引擎中，加速查询提供在线服务。

然而，物理宽表的构建性能较差，物理宽表需要将多个业务域的数据进行融合，再同步到OLAP层，过程中存在木桶效应，物理宽表合并任务的开始依赖于上游最晚产出的表。物理宽表的灵活性差，物理宽表对于表scheme的表更需要进行数据重刷，开发维护难度大。物理宽表的稳定性较差，因为物理宽表需要融合各个业务域的数据，过程中有一个业务域的数据出现问题，整个物理宽表就需要重新构建，OLAP层也同样需要重建，数据恢复时间长，问题影响面广。

针对现有技术中采用物理宽表进行数据查询，导致数据查询的性能差的问题，目前还没有提出有效的解决方案。

发明内容

在本实施例中提供了一种数据查询方法、装置和存储介质，以解决现有技术中采用物理宽表进行数据查询，导致数据查询的性能差的问题。

第一个方面，在本实施例中提供了一种数据查询方法，所述方法包括：

获取逻辑宽表的第一查询SQL；所述第一查询SQL用于对所述逻辑宽表进行数据查询；所述逻辑宽表根据多个具有相同维度属性的物理表映射生成；

根据所述第一查询SQL和所述逻辑宽表的元数据，生成所述物理表的查询SQL集合；所述查询SQL集合用于对所述第一查询SQL关联的多个物理表进行数据查询；所述元数据根据所述逻辑宽表和所述物理表的映射关系生成；

执行所述查询SQL集合，进行数据查询。

在其中的一些实施例中，所述第一查询SQL为分页查询，所述根据所述第一查询SQL和所述逻辑宽表的元数据，生成所述物理表的查询SQL集合，包括：

根据所述第一查询SQL和所述元数据，确定所述第一查询SQL的排序字段关联的第一物理表；

根据所述第一查询SQL和所述元数据，生成所述第一物理表对应的第二查询SQL；所述第二查询SQL用于对所述第一物理表进行数据查询；

执行所述第二查询SQL，得到第一查询结果；

根据所述第一查询结果和所述元数据，生成所述查询SQL集合。

在其中的一些实施例中，所述根据所述第一查询结果和所述元数据，生成所述查询SQL集合，包括：

根据所述第一查询SQL，确定与所述第一查询SQL关联的待进行数据查询的第二物理表；

根据所述第一查询结果、所述第一查询SQL和所述元数据，生成所述第二物理表对应的第三查询SQL；所述第三查询SQL用于对所述第二物理表进行数据查询；

根据所述第三查询SQL，生成所述查询SQL集合。