[发明专利]一种反向查询处理方法和装置

说明书

本发明公开了一种反向查询处理方法和装置，涉及大数据数据分析技术领域。该方法的一具体实施方式包括：接收查询请求，解析查询请求得到查询内容，从字段数据字典容器中查询与查询内容相匹配的字段；从字段元数据字典容器中查询字段的元数据，以及与字段的元数据对应的表；从表元数据字典容器中查询表的元数据，以及与表的元数据对应的数据库，从数据库字典容器中获取连接数据库的信息；按照反向查询顺序，生成查询链路并返回。该实施方式在数据库、表、字段、字段数据存在变化时可以动态更新字典容器，具备良好的查询性能、操作简便且易部署的优点，能够快速返回完整正确的查询链路结果，对数据库的负载压力也较小，因而可以提升处理的请求量。

技术领域

本发明涉及大数据数据分析技术领域，尤其涉及一种反向查询处理方法和装置。

背景技术

数据库作为信息系统最重要的基础设施之一，存储了信息系统产生的各种数据。查询存储在数据库中的数据是最常见的场景，用户在已知数据库的模式、表结构、表与表之间的逻辑关系等信息的基础上，通过SQL(Structured Query Language，结构化查询语言)查询符合条件的数据，这类查询场景称为正向数据库查询。

而对于开展信息系统分析、数据迁移或数据仓库建设等工作，需要查询数据在数据库中的分布情况，即数据出现在哪些数据库、哪些模式、哪些表以及哪些字段，这类查询场景称为反向数据库查询。

目前反向查询数据库技术，主要以单线程串行穷举查询方法为主：根据待查询的数据，逐一查询每个数据库的每张表，逐行取出每张表的数据，然后逐个字段匹配数据与待查询数据是否一致。这种方法存在查询性能差、耗时长，对数据库造成的负载压力大、可处理的查询请求量少等问题，难以落地应用。

发明内容

有鉴于此，本发明实施例提供一种反向查询处理方法和装置，至少能够解决现有反向查询数据库技术需穷举查询数据库中每张表的每个字段，存在的查询性能差、耗时长、数据库服务压力大、并发量低问题。

为实现上述目的，根据本发明实施例的一个方面，提供了一种反向查询处理方法，包括：

接收查询请求，解析所述查询请求得到查询内容，从字段数据字典容器中查询与所述查询内容相匹配的字段；

从字段元数据字典容器中查询所述字段的元数据，以及与所述字段的元数据对应的表；

从表元数据字典容器中查询所述表的元数据，以及与所述表的元数据对应的数据库，从数据库字典容器中获取连接所述数据库的信息；

按照反向查询顺序，生成查询链路并返回。

可选的，在所述接收查询请求之前，还包括：

确定待扫描的数据库数量，启动与所述数据库数量对应的线程数量，并行使用每个线程扫描每个数据库，以构建数据库字典容器、表元数据字典容器、字段元数据字典容器、字段数据字典容器；

其中，数据库字典容器用于存储数据库连接信息，表元数据字典容器用于存储表元数据、表元数据和数据库的映射关系，字段元数据字典容器用于存储字段元数据、字段元数据与表的映射关系，字段数据字典容器用于存储字段数据和字段的映射关系。

可选的，还包括：基于每个表的元数据，对每个数据库中的表做分片处理；

确定分片数量，启动与所述分片数量对应的线程数量，并行使用每个线程扫描每个分片，以构建字段元数据字典容器、字段数据字典容器；其中，分片数量为预设分片数量或中央处理器的核心数。

可选的，还包括：将字段数据字典容器拆分为多个子容器，其中，每个子容器对应不同的字符长度范围；

确定每个字段数据的字符长度，以根据字符长度所处字符长度范围，将每个字段数据和字段的映射关系分配到相应子容器中。