[发明专利]数据处理方法、装置及电子设备

说明书

本公开的实施例提供了一种数据处理方法、装置及电子设备，属于计算机和通信技术领域。该方法包括：获取目标作业；确定所述目标作业的目标作业类型；主调度器根据所述目标作业类型确定所述目标作业的目标容器；通过所述目标容器对所述目标作业进行处理，获得所述目标作业的处理结果。本公开实施例提供的数据处理方法、装置及电子设备通过对目标作业类型与容器进行关联，能够实现业务隔离，并实现高吞吐量、高时效性、高正确率的数据处理流程。

技术领域

本公开涉及计算机和通信技术领域，具体而言，涉及一种数据处理方法、装置及电子设备。

背景技术

传统的数据处理流程以数据工厂为调度者，以日志形式接收数据，基于全批式或全流式的调度测量处理数据。目前，兴趣点数据(Point of Interest，POI)由于其处理量大、任务类别多，且要求百分之百准确率的特点，对数据处理流程具有较高要求。然而，上述流程中，数据工厂为通用组件，其作业长度有限，无法保证作业执行的时效性。此外，任务运行集群没有实现业务隔离，在资源不足的情况下将导致任务无法完成、任务失败、数据丢失等问题。因此，如何实现对兴趣点数据的高时效、高吞吐量、高正确率、全链路跟踪的处理是一个值得研究的问题。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开实施例提供一种数据处理方法、装置及电子设备，进而至少在一定程度上能够实现业务隔离，并实现高吞吐量、高时效性、高正确率的数据处理流程。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开实施例的一个方面，提供了一种数据处理方法，包括：获取目标作业；确定所述目标作业的目标作业类型；主调度器根据所述目标作业类型确定所述目标作业的目标容器；通过所述目标容器对所述目标作业进行处理，获得所述目标作业的处理结果。

在本公开的一些示例性实施例中，调度集群包括多个调度器；所述方法还包括：通过协调器从所述多个调度器中选举一个调度器作为所述主调度器；若所述主调度器发生异常，则通过所述协调器从余下的调度器中选举另一个调度器作为所述主调度器。

根据本公开实施例的一个方面，提供了一种数据处理装置，包括：目标作业获取模块，用于获取目标作业；作业类型确定模块，用于确定所述目标作业的目标作业类型；目标容器确定模块，用于主调度器根据所述目标作业类型确定所述目标作业的目标容器；目标作业处理模块，用于通过所述目标容器对所述目标作业进行处理，获得所述目标作业的处理结果。

根据本公开实施例的一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中所述的数据处理方法。

在本公开的一些实施例所提供的技术方案中，通过目标作业的目标作业类型确定该目标作业的目标容器，以使该目标容器对该目标作业进行处理，能够根据作业类型对容器进行划分，以实现业务隔离，以避免由于资源不足导致的数据丢失、任务失败的问题和资源浪费的问题，因此能够保证数据处理的高吞吐量、高时效性和高准确率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

在附图中：