[发明专利]基于分布式消息队列中间件的处理方法和处理系统

说明书

本发明公开了一种基于分布式消息队列中间件的处理方法和处理系统，其中，方法包括：获取上传消息根据上传消息建立带有消息模式的消息信息；对消息模式进行处理得到查询信息；根据查询信息进行查询的结果提取第一高速缓存器中的消息模式，再根据消息模式对消息信息进行编码得到编码信息，并将编码信息发送至分布式消息队列集群储存；根据查询信息进行查询的结果提取第二高速缓存器中的消息模式，再根据消息模式从分布式消息队列集群中得到对应的编码信息进行解码，并根据解码结果进行消费。本发明避免了线下“握手”过程，当生产者信息模式需要变更时，不需要线下通知消费者，便可以自动完成消息模式的升级，减轻日常维护和运营成本。

技术领域

本发明涉及消息处理技术领域，尤其涉及一种基于分布式消息队列中间件的处理方法和处理系统。

背景技术

分布式消息队列中间件是一种广泛运用在分布式系统中的用于节点间通信的软件，是分布式系统中的一个重要组件，主要用来解决发布消息，应用耦合，流量削峰等问题。Kafka，是由LinkedIn公司开发并开源的分布式消息队列中间件，作为一个分布式流媒体平台，是分布式消息队列的一个主流开源系统，非常适合于大数据系统的各个组件之间实时或者准实时通讯。

Kafka消息队列中间件包括生产者、管理者以及消费者；当产生一个新的产品业务时，需要首先制定一个消息模式，而生产者会按照这个消息模式进行编码然后再通过Kafka传输数据流。在Kafka另一端的服务需要消费这个数据流的时候，也需要拿到这个消息模式才能知道怎么解码还原数据流。

目前，生产者将消息模式上传并注册到消息模式服务管理者，并将结果线下告诉消息消费者。消费者再将这些信息提供给消息模式管理者，并下载消息模式，完成线上和线下相结合的“握手”过程。在实际运用中，随着业务的不断推进，消息模式经常升级变化，而所有的这些变动都需要双方再次“握手”才能正确处理传输的数据流。当生产者由于需求或者其他原因导致信息模式需要变更，如果没有通知到消费者时，会导致消费者出现异常，即使生产者生成的消息变更线下通知到了，消费者还需要将这些信息提供给消息模式管理者，并下载消息模式。这不仅给产品的日常维护和运营带来非常大的负担，而且造成资源的浪费。

发明内容

本发明的目的是提供一种基于分布式消息队列中间件的处理方法和处理系统，避免了线下“握手”过程，当生产者由于需求或者其他原因导致信息模式需要变更时，不需要线下通知消费者，便可以自动完成消息模式的升级，减轻日常维护和运营成本。

本发明提供了一种基于分布式消息队列中间件的处理方法，包括以下步骤：

获取外部消息流中的上传消息，根据上传消息建立消息信息；所述消息信息包括消息模式；

对所述消息模式进行处理，得到查询信息；

根据所述查询信息进行查询，根据查询结果提取第一高速缓存器中的所述消息模式，再根据所述消息模式对所述消息信息进行编码，得到编码信息，并将所述编码信息发送至分布式消息队列集群储存；

根据所述查询信息进行查询，根据查询结果提取第二高速缓存器中的所述消息模式，再根据所述消息模式从所述分布式消息队列集群中得到对应的所述编码信息进行解码，并根据解码结果进行消费。

作为一种可实施方式，所述根据所述查询信息进行查询，根据查询结果提取第一高速缓存器中的所述消息模式，包括以下步骤：

根据所述查询信息进行查询，判断当前的消息模式是否存储于第一高速缓存器中；

若当前的消息模式已经存储于第一高速缓存器中，则提取第一高速缓存器中的所述消息模式；

若当前的消息模式没有存储于第一高速缓存器中，则根据所述消息信息中的注册信息将所述消息模式进行上传，并将所述消息模式储存于模式数据库中；同时，将所述消息模式存储于第一高速缓存器中。