[发明专利]一种数据监控方法以及装置

说明书

本发明公开了一种数据监控方法以及装置，属于数据监控技术领域，方法包括：生产者发送消息的情况下，向消息服务器进行消息唯一性持久化处理，并将消息的中间件链接信息和消息内容同步到消息监控组件，以进行消息补偿和消费监控；消费者在消费消息的情况下，向消息服务器同步消息消费状态，并通过消息监控组件对消费者线程进行监控，进行实时的异常上报；在消费者的消费请求成功响应消息中间件的情况下，向消息服务器同步消费成功状态，并记录消费时间；通过定时对消息服务器中的消息数据进行监控，根据预设的监控阈值进行监控预警，对消息消费时长和消费失败情况进行统计报告。

技术领域

本发明属于数据监控技术领域，具体涉及一种数据监控方法以及装置。

背景技术

在大型应用程序中，程序间的异步沟通一般会基于网络连接和一些消息中间件进行数据传输，在异步传输数据的过程中主要分为两种交互角色，数据发送方即消息生产者和数据接收方即消息消费者，而在消息生产者和消息消费者之间传输的数据消息经常会出现消息丢失、重复消费、消息堆积等问题，原因在于系统间的异步交互，因此对这些问题的处理通常不成体系。

对于消息丢失问题，一般分为三种情况：

（1）消息生产者丢失：一般为了防止消息生产者丢失都会简历消息补偿机制，通过对消息原数据的存储状态进行标记，通过定时任务唤起的方式进行消息重投。

（2）中间件丢失：出现概率相对较低，一般是中间件不支持持久化消息或中间件宕机导致，一般解决方法同消息生产者丢失都是通过消息生产者进行补偿。

（3）消息消费者丢失：出现概率较高，一般为消息消费者方处理时异常结束且没有设置消息确认机制导致，一般解决办法都是通过中间件设置消息确认机制，只有当消息消费者消费成功后由消息消费者通知中间件消息处理成功。

对于重复消费问题：

一般重复消费问题发生在消息消费者方需要根据消息进行数据新增时，当有多条相同消息传递过来时增加了多份数据导致，一般解决办法是通过幂等校验的方式应用数据库或缓存来进行消息查重。

对于消息堆积问题：

一般出现消息堆积问题很难发现，只有当用户感知某项数据同步时间异常时才有可能上报，后端才会发现，一般处理方式有的会监控对应的数据进行邮件上报，有的会根据中间件开发不同的监控服务进行报警等。

现有技术CN112181776A公开了一种RocketMQ监控和告警通知方法，包括以下步骤：步骤一、监控组件与Apollo保持一个长连接从而即时获得配置更新的推送；步骤二、监控组件从消息中间件RocketMQ上获取消息消费者信息以及消息消费进度；步骤三、监控组件将当前消费进度与监控阈值做比较；步骤四、如果步骤三中当前消费进度大于阈值，则根据告警相关配置发送告警提示。此种RocketMQ监控和告警通知方法、系统、电子设备及存储介质，给RocketMQ增加监控，当出现特定异常时，能够及时告警，及时处理。

但是，现有技术提供的数据监控方案在实现上缺乏通用性，且只是对消息堆积以及消息消费者基于中间件的消费进度进行监控，无法给出具体造成消息堆积的原因。

发明内容

本发明实施例的目的是提供一种数据监控方法以及装置，能够解决现有技术提供的数据监控方案在实现上缺乏通用性，且只是对消息堆积以及消息消费者基于中间件的消费进度进行监控，无法给出具体造成消息堆积的原因的技术问题。

为了解决上述技术问题，本发明是这样实现的：

第一方面，本发明实施例提供了一种数据监控方法，包括：

S101：生产者发送消息的情况下，向消息服务器进行消息唯一性持久化处理，并将消息的中间件链接信息和消息内容同步到消息监控组件，以进行消息补偿和消费监控；

S102：消费者在消费消息的情况下，向消息服务器同步消息消费状态，并通过消息监控组件对消费者线程进行监控，进行实时的异常上报；