[发明专利]一种数据处理方法、装置及设备

权利要求书

1.一种数据处理方法，其特征在于，应用于分布式发布订阅消息系统，所述分布式发布订阅消息系统包括多个线程，所述多个线程属于同一个消费组，所述方法包括：

监听同一个消费组中是否存在至少两个线程处理目标作业；

在存在至少两个线程处理所述目标作业的情况下，获取第一线程信息；所述第一线程信息为分布式文件系统中与所述目标作业对应的线程信息；其中，每个线程在获取到目标作业时会相应的更新目标作业对应的线程信息；

基于所述第一线程信息，确定处理所述目标作业的线程；

利用处理所述目标作业的线程获取与所述目标作业对应的业务数据；

基于所述业务数据对所述目标作业进行业务逻辑处理。

2.根据权利要求1所述的方法，其特征在于，所述监听同一个消费组中是否存在至少两个线程处理目标作业前，包括：

基于配置表判断是否存在目标作业；其中，所述配置表中包括确定作业状态的信息；

在存在目标作业的情况下，监听同一个消费组中是否存在至少两个线程处理所述目标作业。

3.根据权利要求2所述的方法，其特征在于，所述确定作业状态的信息包括状态标识和心跳更新时间；

所述基于配置表判断是否存在目标作业，包括：

判断所述配置表中是否存在状态标识为预设标识的作业；或者，

判断所述配置表中是否存在心跳更新时间超过预设阈值的作业。

4.根据权利要求3所述的方法，其特征在于，每个线程在获取到所述目标作业后，每隔预设时间更新所述配置表中目标作业的心跳信息。

5.根据权利要求1所述的方法，其特征在于，所述分布式发布订阅消息系统包括Rebalance监听器；所述Rebalance监听器用于在存在至少两个线程处理同一目标作业时触发第一回调函数；所述Rebalance监听器还用于获取与所述目标作业对应的业务数据时触发第二回调函数。

6.根据权利要求5所述的方法，其特征在于，所述第一回调函数用于检查分布式文件系统中与所述目标作业对应的线程信息是否与当前线程信息一致；所述第二回调函数用于从分布式文件系统中与所述目标作业对应的记录数据位移信息的文件中读取业务数据对应的处理位置。

7.根据权利要求6所述的方法，其特征在于，所述利用处理所述目标作业的线程获取与所述目标作业对应的业务数据，包括：

基于所述第二回调函数从分布式文件系统中与所述目标作业对应的记录数据位移信息的文件中读取业务数据对应的处理位置；

将所述处理位置作为起始位置从对应的topic信息中拉取与所述目标作业对应的业务数据。

8.一种数据处理装置，其特征在于，包括：

监听模块，用于监听同一个消费组中是否存在至少两个线程处理目标作业；

第一获取模块，用于在存在至少两个线程处理所述目标作业的情况下，获取第一线程信息；所述第一线程信息为分布式文件系统中与所述目标作业对应的线程信息；其中，每个线程在获取到目标作业时会相应的更新目标作业对应的线程信息；

确定模块，用于基于所述第一线程信息，确定处理所述目标作业的线程；

第二获取模块，用于利用处理所述目标作业的线程获取与所述目标作业对应的业务数据；

处理模块，用于基于所述业务数据对所述目标作业进行业务逻辑处理。

9.一种数据处理设备，其特征在于，包括至少一个处理器以及存储计算机可执行指令的存储器，所述处理器执行所述指令时实现权利要求1至7中任意一项所述方法的步骤。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机指令，所述指令被执行时实现权利要求1至7中任一项所述方法的步骤。