[发明专利]消息队列中数据处理的方法、装置、设备及存储介质

说明书

本申请公开了一种消息队列中数据处理方法、装置、设备及存储介质。该方法包括：获取目标主题的消息队列中数据的偏移信息以及数据消费方对于所述目标主题的消息队列中数据的消费进度，所述数据的偏移信息包括至少一个统计周期内所述数据在所述消息队列中的偏移量，所述消费进度包括所述数据消费方已消费的数据在所述消息队列中的偏移量；根据所述偏移信息和所述消费进度确定所述数据消费方的滞后时间；根据所述滞后时间，调整所述消息队列的数据保存时间。该方法降低了数据丢失的风险。

技术领域

本申请涉及计算机技术领域，特别是涉及一种消息队列中数据处理方法、装置、设备及存储介质。

背景技术

随着信息技术的发展，企业内部的应用系统之间存在数据共享的需求。kafka是目前广泛应用的分布式消息队列系统，通过kafka能够实现数据共享的需求。具体地，kafka的消息订阅者(数据消费方)通常将从一类主题topic中的一个分区partition中消费消息生产者(数据提供方)生产的数据。

在一些场景中，数据消费方消费数据的速度会低于数据提供方生产数据的速度，进而会导致partition中的数据产生积压。当partition中的数据超过预设可保存时间时，会触发kafka的清理机制，从而导致数据丢失。

因此，数据消费方消费数据的速度低于数据提供方生产数据的速度时，会存在数据丢失的风险。

发明内容

为了解决上述技术问题，本申请提供了一种消息队列中数据处理的方法、装置、设备及存储介质，该方法能够避免kafka的清理机制导致数据丢失的问题。

本申请实施例公开了如下技术方案：

第一方面，本申请提供了一种消息队列中数据处理方法，包括：

获取目标主题的消息队列中数据的偏移信息以及数据消费方对于所述目标主题的消息队列中数据的消费进度，所述数据的偏移信息包括至少一个统计周期内所述数据在所述消息队列中的偏移量，所述消费进度包括所述数据消费方已消费的数据在所述消息队列中的偏移量；

根据所述偏移信息和所述消费进度确定所述数据消费方的滞后时间；

根据所述滞后时间，调整所述消息队列的数据保存时间。

可选的，所述方法还包括：当所述滞后时间大于或等于告警时间阈值时，向所述数据消费方反馈告警信息。

可选的，所述方法还包括：

根据所述偏移信息和所述消费进度确定所述数据消费方的滞后数据量；

当所述滞后数据量大于或等于告警数据量阈值时，向所述数据消费方反馈告警信息。

可选的，所述方法还包括：

获取数据消费方的告警配置信息；

根据所述告警配置信息生成告警条件，所述告警条件用于被满足时触发告警流程。

可选的，所述根据所述滞后时间，调整所述消息队列的数据保存时间，包括：

当所述滞后时间大于或等于滞后时间阈值时，调整所述消息队列的数据保存时间；

或，

当所述滞后时间与所述消息队列的数据保存时间之间的差值低于或等于剩余时间阈值时，调整所述消息队列的数据保存时间。

可选的，所述调整所述消息队列的数据保存时间，包括：

若所述滞后时间与所述消息队列的数据保存时间之和大于等于所述消息队列的数据最大保存时间，调整所述数据保存时间至所述数据最大保存时间；