[发明专利]一种OLTP领域多表join查询的方法

说明书

本发明公开了一种OLTP领域多表join查询的方法，属于数据查询技术领域，包括在业务系统中发布宽表生成的配置规则并保存；对Mysql数据库中的Binlog数据进行抓取、转化并写入kafka处理平台中；加载配置规则，从kafka处理平台中获取数据，由flink流处理引擎实时计算并生成宽表数据；将生成的宽表数据存储至服务器中并经搜索引擎提供数据查询。本发明设计科学合理，使用方便，在业务系统进行数据库的增改查的过程中，无需关注宽表的逻辑，仅需宽表生成的配置规则，从kafka处理平台中获取数据，由flink流处理引擎实时计算，借助服务器的海量存储能力，形成业务数据以供查询。

技术领域

本发明属于数据查询技术领域，具体涉及一种OLTP领域多表join查询的方法。

背景技术

在传统的OLTP领域，即关系型数据库中，系统需要实现大的列表查询，在需要列表查询时，运行驱动表 join连接多个被驱动表，然后在内存中生成所需的列表数据。如果关联的数据表少、列表的字段少、表中的数据体量不大、QPS（每秒查询率）不高的场景下，这种处理方式还可以支撑。但是在关联的数据表多、表中的数据体量较大的情况下，以此种这种方式支撑的系统查询对于硬件资源要求及系统运维人员的要求就会很高。

虽然在业界，也有很多基于Elasticsearch分布式搜索工具来存储大宽表，但是在OLTP领域里面，对于Elasticsearch的document构建来说，还是基于传统业务代码的硬编码处理。如此，导致宽表生成代码和真正的业务逻辑代码耦合，系统维护成本非常高，并且在难以维系超大数据量，成为所属技术领域技术人员亟待解决的技术问题。

因此，本发明提供了一种OLTP领域多表join查询的方法，以至少解决上述部分技术问题。

发明内容

本发明要解决的技术问题是：提供一种OLTP领域多表join查询的方法，以至少解决上述部分技术问题。

为实现上述目的，本发明采用的技术方案如下：

一种OLTP领域多表join查询的方法，包括以下步骤：

步骤S1、在业务系统中发布宽表生成的配置规则并保存；

步骤S2、对Mysql数据库中的Binlog数据进行抓取、转化并写入kafka处理平台中；

步骤S3、加载配置规则，从kafka处理平台中获取Binlog数据，由flink流处理引擎实时计算并生成宽表数据；

步骤S4、将生成的宽表数据存储至服务器中并经搜索引擎提供数据查询。

进一步地，所述步骤S2中，将抓取的binlog数据转化为json格式并写入kafka处理平台中。

进一步地，所述步骤S1中，配置规则包括驱动表的存储结构和被驱动表的存储结构，驱动表的存储结构包括宽表名称、宽表中各驱动表、驱动表对应的关联键、驱动表需要查询的字段以及join引起的数据延迟时间，被驱动表的存储结构包括宽表名称、宽表中各被驱动表、被驱动表对应的关联键以及被驱动表需要查询的字段。

进一步地，所述步骤S2中，一个Mysql数据库的数据表对应kafka处理平台的一个数据流集合，并建立Mysql数据库的数据表和数据流集合的映射关系。

进一步地，所述步骤S3具体包括：步骤S31、由配置规则解析出Binlog数据对应的驱动表和被驱动表，根据映射关系在flink流处理引擎中生成数据源，由数据源形成多个数据流；步骤S32、由配置规则中的关联键将数据流依次连接形成一个链式的join流程，形成多流join的逻辑计划，由flink流处理引擎将逻辑计划转化为物理执行计划；步骤S33、通过自定义数据Sink，将物理执行计划生成的数据写入搜索服务器中以供数据查询。