[发明专利]数据处理系统、方法、装置及电子设备

说明书

本申请涉及数据处理技术领域，具体涉及一种数据处理系统、方法、装置及电子设备，用于解决各个分支机构高频处理单元的集群资源浪费的问题。其中，数据处理方法包括：获取各个分布式节点分别对应的待处理数据；确定各个分布式节点与各个主任务处理单元之间的映射关系，以使各个主任务处理单元对应的待处理数据量之间的差值处于预设范围；根据映射关系，将各个待处理数据分配给各个主任务处理单元；根据各个主任务处理单元，以及各个主任务处理单元分别对应的子任务处理单元，对各个主任务处理单元分别对应的所有待处理数据进行处理。通过上述方法，可以使得各个主任务处理单元所对应的数据处理量均衡，从而避免存在主任务处理单元的集群资源浪费。

技术领域

本申请涉及数据处理技术领域，具体涉及一种数据处理系统、方法、装置及电子设备。

背景技术

全球IT市场正发生巨大的变化，云计算、大数据、物联网、人工智能等新技术得到飞速发展。主机作为这些新技术的核心设备，一直以其高可用性、高吞吐率而备受各大机构的青睐。在实际运用场景中，各大机构通常会在不同的地区注册新的分支机构，伴随着分支机构的业务增长，原来总机构的主机设备工作量逐步增大，因而面临着日益严峻的挑战。

为了解决这个问题，各大机构都在积极探索主机下移的数据处理方案，提出了一种适用于分布式架构的批处理框架来支持原先主机的批处理功能。在批处理框架并行计算过程中，通常用到高频调度装置。举例来讲，总机构A注册了A1、A2、A3、A4四个分支机构，高频调度装置按照这四个分支机构分为四个高频处理单元，在批处理框架运行的过程中，总机构A对应的批处理任务由各个分支结构A1、A2、A3、A4分别对应的高频处理单元共同来完成，其中，各个分支机构的高频处理单元分别处理各自所在地区的业务数据。

但是，由于各个地区所在的业务数据分布式不均衡的，业务数据的增长速度也不相同，并且各个分支机构分别对应的主机运行高峰期不一致，按照现有的上述数据处理方案，会存在一些分支机构对应的高频处理单元数据处理量不够，而有些分支机构对应的高频处理单元存在空闲的情况，进而引起各个分支机构高频处理单元的集群资源浪费。

发明内容

本申请实施例提供一种数据处理系统、方法、装置及电子设备，用于解决各个分支机构高频处理单元的集群资源浪费的问题。

第一方面，本申请提供了一种数据处理系统，所述系统包括主任务接入单元、映射单元、N个主任务处理单元，以及每个主任务处理单元对应的子任务处理单元，其中，所述主任务接入单元以及N个主任务处理单元分别与所述映射单元相连，并且每个主任务处理单元与各自对应的子任务处理单元连接，N为大于或等于1的整数；

所述主任务接入单元，用于获取当前各个分布式节点的待处理数据，并将所有待处理数据发送给所述映射单元；所述映射单元，用于确定各个分布式节点对应的主任务处理单元，以使各个主任务处理单元对应的待处理数据量均衡；每个主任务处理单元与各自对应的子任务处理单元，用于对所述映射单元确定的各个分布式节点的待处理数据进行处理。

通过上述系统，基于映射单元使得各个主任务处理单元所对应的各个部分数节点待处理数据量均衡，从而使得各个主任务处理单元的集群资源得到充分的利用，避免各个分布式节点各自对应的集群资源浪费。

在一种可能的设计中，所述系统还包括N个消息队列单元，其中，N个消息队列单元与N个主任务处理单元以及N个子任务处理单元之间一一对应连接，每个消息队列单元与相互对应的子任务处理单元之间建立多个数据通道，所述多个数据通道至少包括M个专用通道和1个公用通道，M取值大于或等于消息队列单元所服务的分布式节点数量；各个专用通道，用于各个分布式节点独立处理数据；所述公用通道可同时供多个分布式节点使用。

通过上述系统，可以保证每个分布式节点既有自己独立使用的专用通道，还能在自身专用通道数据处理能力不足的情况下，结合共用同道来帮助完成数据处理，进而实现各个数据通道的充分利用，避免集群资源浪费。