[发明专利]适用于MySQL中客户数据的并行异构方法、系统、介质及设备

说明书

本发明提供了一种适用于MySQL中客户数据的并行异构方法、系统、介质及设备，包括：环境搭建步骤：搭建可用度大于设定阈值的Canal和Elasticsearch环境；环境配置步骤：在Canal上配置需要进行数据异构处理的MySQL信息；Canal‑Consumer服务开发步骤：全量异构初始化客户设定数据；Elasticsearch索引创设步骤：提取业务需求的数据创设Mapping；并行处理步骤：按照客户主键ID，将取到的binlog操作数据放入到对应线程的队列中，线程中调用Elasticsearch对应的API完成操作。本发明使得系统代码更简洁、操作更稳定、查询速度更快。

技术领域

本发明涉及数据库处理领域，具体地，涉及适用于MySQL中客户数据的并行异构方法、系统、介质及设备，尤其是一种基于Canal和Elasticsearch的MySQL中客户数据并行异构方法。

背景技术

随着系统功能越来越多，查询方式和维度的多样性，数据库中客户相关的数据量越来越大，现有通过数据库查询的需求，导致查询不方便、易出错、执行时间长、无法解决业务需求、代码中SQL语句更复杂和维护成本随之上升等问题。现有按某种维度分库方案，导致其他维度查询的需求比较复杂。现有使用Canal进行异构的两种方案，同步处理方案无法满足大批量数据变更操作的要求，并行处理方案无法满足数据的一致性。

专利文献CN109241191A公开了一种分布式数据源异构同步平台及同步方法，该平台包含：前端和服务端；其中，前端用于提交数据源和显示数据源同步结果；服务端用于接收前端提交的数据源，并完成数据源同步请求，并将同步结果传送给前端；前端和服务端之间采用WebSocket技术进行通信；前端包含：react-admin-master前端独立模块，该前端独立模块采用了react+redux+ruby+webpack的前端框架，其包含：包含创建同步任务子模块、运行状态子模块和历史任务信息子模块；服务端包含：data-transform-api接口模块、data-transform-server服务模块和datax-all服务插件模块。该专利在提高数据的一致性，适用于大批量数据变更操作的要求上仍有待完善的空间。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种适用于MySQL中客户数据的并行异构方法、系统、介质及设备。

根据本发明提供的一种适用于MySQL中客户数据的并行异构方法，包括：环境搭建步骤：准备预定MySQL数据库，搭建可用度大于设定阈值的Canal和Elasticsearch环境；环境配置步骤：在Canal上配置需要进行数据异构处理的MySQL信息；Canal-Consumer服务开发步骤：全量异构初始化客户设定数据，对binlog日志的订阅，按照客户主键ID分组的处理线程，处理客户相关表数据的Sluice，使用Elasticsearch的API以及Elasticsearch索引的创设；Elasticsearch索引创设步骤：使用客户ID作为Elasticsearch的文档ID，提取业务需求的数据创设Mapping；并行处理步骤：获取对应的处理表Sluice，按照客户主键ID，通过ID％线程数获得对应的线程标识，将取到的binlog操作数据放入到对应线程的队列中，线程中调用Elasticsearch对应的API完成操作，获取并行处理结果信息。

优选地，还包括：EsQuery服务开发步骤：使用Elasticsearch的查询API，根据具体业务需求的查询，提供对外查询接口，获取EsQuery服务开发结果信息。

优选地，还包括：处理查询服务搭建步骤：部署可用度大于设定阈值的Canal-Consumer服务以及EsQuery服务，获取处理查询服务搭建结果信息。

优选地，还包括：结果验证步骤：实时同步数据和查询数据，获取验证结果信息。