[发明专利]一种数据处理方法、装置及设备

说明书

本说明书实施例提供一种数据处理方法、装置及设备，可用于大数据领域。所述方法包括监听同一个消费组中是否存在至少两个线程处理目标作业；在存在至少两个线程处理所述目标作业的情况下，获取第一线程信息；所述第一线程信息为分布式文件系统中与所述目标作业对应的线程信息；其中，每个线程在获取到目标作业时会相应的更新目标作业对应的线程信息；基于所述第一线程信息，确定处理所述目标作业的线程；利用处理所述目标作业的线程获取与所述目标作业对应的业务数据；基于所述业务数据对所述目标作业进行业务逻辑处理。利用本说明书实施例可以保证同一份作业不会被多个线程处理，从而避免产生对共享资源的争抢，提高系统服务的可用性。

技术领域

本申请涉及大数据领域，特别涉及一种数据处理方法、装置及设备。

背景技术

在大数据领域中，可用性是对系统服务而言比较重要的标准。

现有技术中，主要基于服务实例定时发送的心跳距离上次心跳发送时间间隔是否超过阈值来确定服务实例是否可以工作，若超过阈值，则判定该服务实例无法工作，由其他服务实例接管其工作，从而可以保证原有工作能被继续处理，保障服务的可用性。

然而，当出现网络异常等问题时，由于原本正常工作的服务实例心跳无法成功更新，待网络恢复后就会有其他服务实例判断其心跳超时并接管其工作，此时就会导致不同节点争抢共享资源，降低系统服务的可用性。

因此，业内亟需一种可以解决上述技术问题的技术方案。

发明内容

本说明书实施例提供了一种数据处理方法、装置及设备，可以保证同一份作业不会被多个线程处理，从而避免产生对共享资源的争抢，提高系统服务的可用性。

本说明书提供的一种数据处理方法、装置及设备是包括以下方式实现的。

一种数据处理方法，应用于分布式发布订阅消息系统，所述分布式发布订阅消息系统包括多个线程，所述多个线程属于同一个消费组，所述方法包括：监听同一个消费组中是否存在至少两个线程处理目标作业；在存在至少两个线程处理所述目标作业的情况下，获取第一线程信息；所述第一线程信息为分布式文件系统中与所述目标作业对应的线程信息；其中，每个线程在获取到目标作业时会相应的更新目标作业对应的线程信息；基于所述第一线程信息，确定处理所述目标作业的线程；利用处理所述目标作业的线程获取与所述目标作业对应的业务数据；基于所述业务数据对所述目标作业进行业务逻辑处理。

一种数据处理装置，包括：监听模块，用于监听同一个消费组中是否存在至少两个线程处理目标作业；第一获取模块，用于在存在至少两个线程处理所述目标作业的情况下，获取第一线程信息；所述第一线程信息为分布式文件系统中与所述目标作业对应的线程信息；其中，每个线程在获取到目标作业时会相应的更新目标作业对应的线程信息；确定模块，用于基于所述第一线程信息，确定处理所述目标作业的线程；第二获取模块，用于利用处理所述目标作业的线程获取与所述目标作业对应的业务数据；处理模块，用于基于所述业务数据对所述目标作业进行业务逻辑处理。

一种数据处理设备，包括至少一个处理器以及存储计算机可执行指令的存储器，所述处理器执行所述指令时实现本说明书实施例中任意一个方法实施例方法的步骤。

一种计算机可读存储介质，其上存储有计算机指令，所述指令被执行时实现本说明书实施例中任意一个方法实施例的步骤。