[发明专利]一种自定义监听数据库变化产生自定义消息结构的方法及控制装置

说明书

针对现有技术的不足，本公开涉及一种自定义监听数据库变化产生自定义消息结构的方法及装置，监听Mysql数据库库表变化发布不同消息结构的变更消息通知。为实现以上目的，本公开通过以下技术方案予以实现：一种自定义监听数据库变化产生自定义消息结构的方法，包括以下步骤：步骤1：配置阶段；步骤2：从Mysql订阅binlog日志数据，解析binlog从而得到数据库的库名、表名及变更内容；步骤3：根据库表的过滤规则配置，过滤匹配操作类型，字段，以及字段条件值；步骤4：结构转换得到全新的数据结构；步骤5：数据发布到消息队列主题。本公开通过这样的技术方案，配置灵活快速，配置过程动态，即配即用，及时生效，不需要重新编译重新启动。

技术领域

本发明涉及数据库技术领域，尤其是涉及一种自定义监听数据库变化产生自定义消息结构的方法及控制装置。

背景技术

数据库内的数据在应用过程中不断发生变化，技术人员为了实现某些需求需要不断对数据库内数据变动进行监听。以Mysql数据库为例，Mysql数据库为例的库表变化和数据变动监听通常采用解析Mysql的binlog(数据库日志)得到变更消息，根据业务应用编写软件代码过滤不同的库表和数据变化，解析成为不同的消息结构以满足不同的应用做为数据驱动源。

但是现有技术中，即便对应同一个数据库，每次根据不同的业务，监听Mysql数据库变化均需要编写不同的软件代码做过滤和解析组合得不同的消息结构，以适应新功能。如专利申请号为CN201910595309.2的发明专利《基于监听MySQL数据库binlog变化实现数据同步的方法和系统》中就公开了一种基于监听MySQL数据库binlog变化实现数据同步的方法和系统。方法流程包括：将MySQL的binlog传输到公共存储介质；监听binlog发生变化时，发现文件变化事件；根据文件变化事件，从MySQL中获取对应的数据变化内容，解析该数据变化内容为目标数据结构；将解析后的数据加载到目标存储介质中以完成数据同步。系统包括：公共存储介质、监听模块、数据获取模块和数据加载模块；公共存储介质存储MySQL的binlog；监听模块在binlog发生变化时，发布文件变化事件；数据获取模块从MySQL中获取对应的数据变化内容，将其解析为目标数据结构后；通过数据加载模块加载到目标存储介质中存储。本发明无需开发MySQL交互协议，通过简单方法即可实现数据的同步，实现成本低。

但是该方案中只能进行数据同步，如果需要进一步操作还需要额外的数据加载模块，例如协议配置单元和数据传输单元。这些单元都要根据实际情况单独设计，当业务变化频繁时，难以满足快速高效的需求。

发明内容

为了解决上述技术问题中的至少一个，本公开涉及一种自定义监听数据库变化产生自定义消息结构的方法及装置，监听Mysql数据库库表变化发布不同消息结构的变更消息通知，不需要额外开发软件，快速实现数据驱动源，以便实现各类数据触发操作业务。

为实现以上目的，本公开通过以下技术方案予以实现：

一种自定义监听数据库变化产生自定义消息结构的方法，包括以下步骤：

步骤1：配置阶段，包括过滤规则配置、输出结构模板配置、路由配置以及发布消息主题配置；

步骤2：从Mysql订阅binlog日志数据，解析binlog从而得到数据库的库名、表名及变更内容；

步骤3：根据库表的过滤规则配置，过滤匹配操作类型，字段，以及字段条件值；

步骤4：将步骤3中过滤得到的数据配置到预设的输出结构模板中进行结构转换得到全新的数据结构；

步骤5：根据路由配置，可将步骤4中获取的数据结构的数据发布到消息队列的不同主题去。

优选的，步骤2中解析得到配置信息相关内容时将更新步骤1中的配置信息并根据新的配置信息进行重新配置。如果没有获取新的配置信息，则采用默认的配置进行后续操作。