[发明专利]数据查询方法与装置

说明书

本公开提供一种数据查询方法与装置。数据查询方法包括：持续接收来自多个数据库的操作数据，所述操作数据包括多个数据对象的多个数据元素；暂存并处理所述操作数据，使所述操作数据中的每个操作数据值具有唯一编码；当获取到一数据对象的所有数据元素后，向多个宽表中的一个宽表添加一条关于所述数据对象的数据记录；存储所述多个宽表以供展示查询。本公开提供的数据查询方法能够解决多表关联查询到速度瓶颈问题，提高查询速度。

技术领域

本公开涉及数据库技术领域，具体而言，涉及一种数据查询方法与装置。

背景技术

物流行业每天产生海量的物流信息，因此，有效管理与查询这些物流信息成为一项必要且紧迫的工作。

在现有技术中，查询物流信息的方式通常包括建立由复杂的SQL语句构成的监控报表，但是，这种方式无法实现对物流信息数据进行多节点实时监控。在其他查询物流信息的方式中，还包括基于多个数据库多表关联查询+WEB页面展示的方式开发数据报表。但是，随着业务量的大幅度增加，通过多个数据库进行多表关联查询的方式会由于待查询数据量过大而导致查询超时，在查询速度上遇到瓶颈。此外，由于考虑到系统的稳定性，物流公司通常会对各个业务系统进行拆分，相关的物流信息数据也会被存储到不同的数据库或者其他存储介质中去，现有的数据查询方法在这种数据聚合度不高的情况下，无法实现复杂的多表、多数据库组合查询。

因此，需要一种能对复杂数据来源的海量物流信息进行快速查询的数据查询方法。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种数据查询方法与装置，用于至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或多个问题。

根据本公开的第一方面，提供一种数据查询方法。包括：

持续接收来自多个数据库的操作数据，所述操作数据包括多个数据对象的多个数据元素；

暂存并处理所述操作数据，使所述操作数据中的每个操作数据值具有唯一编码；

当获取到一数据对象的所有数据元素后，向多个宽表中的一个宽表添加一条关于所述数据对象的数据记录；

存储所述多个宽表以供展示查询。

在本公开的一种示例性实施例中，所述数据对象包括配送物品，所述数据元素包括配送箱号、包裹编号、配送站名称以及操作时间。

在本公开的一种示例性实施例中，还包括：

根据所述操作数据的来源判断所述数据对象所属的宽表。

在本公开的一种示例性实施例中，所述使所述操作数据中的每个操作数据值具有唯一编码包括：

当所述操作数据中的多个操作数据值均为同一个数据对象的同一个数据元素时，为所述多个操作数据值设置唯一编码，并根据所述唯一编码将所述多个操作数据值记录为所述数据对象的数据元素。

在本公开的一种示例性实施例中，所述存储所述多个宽表包括：以分库分表方式存储每个宽表。

在本公开的一种示例性实施例中，包括：按所述数据记录的添加月份将所述宽表分为多个库存储。

在本公开的一种示例性实施例中，在所述多个库的每一个库中，按所述数据记录的添加日期将所述宽表分为多个子表存储。

根据本公开的第二方面，提供一种数据查询装置，包括：

数据收集模块，用于持续接收来自多个数据库的操作数据，所述操作数据包括多个数据对象的多个数据元素；