[发明专利]一种消息处理方法及装置

说明书

技术领域

本申请涉及数据处理领域，特别是涉及一种消息处理方法，以及一种消息处理装置。

背景技术

目前，服务器集群针对大规模消息通常采用异步处理的方式。这种方式主要存在以下问题：

一方面，由于集群中各虚拟机的处理能力有差异，以相同速度从Message Broker上拉取消息时，很容易在处理能力低下的虚拟机上已经开始出现缓慢堆积，但处理性能卓越的虚拟机又处于闲置状态，因此存在消息分配不合理，资源利用不充分的问题。

另一方面，在异步消息的处理架构中，经常出现消息处理能力落后于消息产生能力的情况，从而会在存储并分发消息的消息中间件Message Broker 上出现消息堆积，甚至会使得Message Broker为了保证其自身运作正常，主动进行消息丢弃，导致消息漏掉未处理。

发明内容

鉴于上述问题，提出了本申请实施例以便提供一种克服上述问题或者至少部分地解决上述问题的消息处理方法和装置。

为了解决上述问题，本申请公开了一种消息处理方法，包括：

对虚拟机的未处理消息进行监控；

当检测到未处理消息超出所述虚拟机的负载上限时，切断消息拉取。

优选地，在所述对虚拟机的未处理消息进行监控之前，所述方法还包括：

从分发消息的消息中间件拉取消息。

优选地，在所述从分发消息的消息中间件拉取消息之前，所述方法还包括：

订阅所述消息中间件的消息缓存主队列；

所述从分发消息的消息中间件拉取消息包括：

在接收到所述消息缓存主队列的消息通知后，从所述消息缓存主队列中拉取消息。

优选地，所述切断消息拉取包括：

切断对所述消息缓存主队列的消息订阅，以切断消息拉取。

优选地，所述方法还包括：

当检测到所述未处理消息低于所述虚拟机的负载下限时，恢复消息拉取。

优选地，所述恢复消息拉取包括：

恢复对所述消息缓存主队列的消息订阅，以恢复消息拉取。

优选地，所述检测到所述未处理消息超出所述虚拟机的负载上限包括：

检测到所述未处理消息所占用缓存超出第一配置值；

所述检测到所述未处理消息低于所述虚拟机的负载下限包括：

检测到所述未处理消息所占用缓存低于第二配置值。

优选地，在所述从分发消息的消息中间件拉取消息之后，所述方法还包括：

将拉取的多个消息存储至预先构建的消息缓存子队列中。

优选地，所述方法还包括：

采用多个异步线程进行消息处理。

优选地，在所述从分发消息的消息中间件拉取消息之后，所述方法还包括：

通知所述消息中间件删除已拉取的未处理消息；

或，通知所述消息中间件对已拉取的未处理消息添加已处理标识。

优选地，所述方法还包括：

检测所述虚拟机的各项资源参数，并根据检测结果对所述虚拟机设置第一配置值和第二配置值。

本申请还提供了一种消息处理装置，包括：

消息监控模块，用于对虚拟机的未处理消息进行监控。

消息拉取控制模块，用于当检测到未处理消息超出所述虚拟机的负载上限时，切断消息拉取。

优选地，所述装置还包括：

消息拉取模块，用于在所述对虚拟机的未处理消息进行监控之前，从分发消息的消息中间件拉取消息；

优选地，所述装置还包括：

消息订阅模块，用于在所述从分发消息的消息中间件拉取消息之前，订阅所述消息中间件的消息缓存主队列；

所述消息拉取模块，具体用于在接收到所述消息缓存主队列的消息通知后，从所述消息缓存主队列中拉取消息。

优选地，所述消息拉取控制模块包括：

订阅切断子模块，用于切断对所述消息缓存主队列的消息订阅，以切断消息拉取。

优选地，所述消息拉取控制模块，还用于当检测到所述未处理消息低于所述虚拟机的负载下限时，恢复消息拉取。

优选地，所述消息拉取控制模块还包括：

订阅恢复子模块，用于恢复对所述消息缓存主队列的消息订阅，以恢复消息拉取。

优选地，所述消息拉取控制模块，具体用于当检测到所述未处理消息所占用缓存超出第一配置值时，切断消息拉取；当检测到所述未处理消息所占用缓存低于第二配置值时，恢复消息拉取。

优选地，所述装置还包括：