[发明专利]数据处理系统、方法、装置及电子设备

权利要求书

1.一种数据处理系统，其特征在于，所述系统包括主任务接入单元、映射单元、N个主任务处理单元，以及每个主任务处理单元对应的子任务处理单元，其中，所述主任务接入单元以及N个主任务处理单元分别与所述映射单元相连，并且每个主任务处理单元与各自对应的子任务处理单元连接，N为大于或等于1的整数；

所述主任务接入单元，用于获取当前各个分布式节点的待处理数据，并将所有待处理数据发送给所述映射单元；所述映射单元，用于确定各个分布式节点对应的主任务处理单元，以使各个主任务处理单元对应的待处理数据量均衡；每个主任务处理单元与各自对应的子任务处理单元，用于对所述映射单元确定的各个分布式节点的待处理数据进行处理。

2.如权利要求1所述数据处理系统，其特征在于，所述系统还包括N个消息队列单元，其中，N个消息队列单元与N个主任务处理单元以及N个子任务处理单元之间一一对应连接，每个消息队列单元与相互对应的子任务处理单元之间建立多个数据通道，所述多个数据通道至少包括M个专用通道和1个公用通道，M取值大于或等于消息队列单元所服务的分布式节点数量；各个专用通道，用于各个分布式节点独立处理数据；所述公用通道可同时供多个分布式节点使用。

3.如权利要求2所述数据处理系统，其特征在于，所述消息队列单元为Kafka消息系统。

4.如权利要求2中任一权利要求所述数据处理系统，其特征在于，所述子任务处理单元包括预设个数的服务器，其中，每台服务器与所述多个数据通道中的预设数据通道之间按照轮询的方式建立连接关系。

5.一种数据处理方法，基于上述权利要求1～4中任一权利要求，其特征在于，所述方法包括：

获取各个分布式节点分别对应的待处理数据；

确定各个分布式节点与各个主任务处理单元之间的映射关系，以使各个主任务处理单元对应的待处理数据量之间的差值处于预设范围；

根据所述映射关系，将各个待处理数据分配给各个主任务处理单元；

根据各个主任务处理单元，以及各个主任务处理单元分别对应的子任务处理单元，对各个主任务处理单元分别对应的所有待处理数据进行处理。

6.如权利要求5所述的方法，其特征在于，所述确定各个分布式节点与各个主任务处理单元之间的映射关系，包括：

获取各个分布式节点所处的地域信息以及各个分布式节点的历史数据信息，其中，所述历史数据信息至少包括数据量大小以及数据处理高峰时间段；

根据各个地域信息、各个历史数据信息以及主任务处理单元的个数，确定各个分布式节点与各个主任务处理单元之间的映射关系。

7.如权利要求5所述的方法，其特征在于，所述根据各个主任务处理单元，以及各个主任务处理单元分别对应的子任务处理单元，对各个主任务处理单元分别对应的所有待处理数据进行处理，包括：

确定相互对应的主任务处理单元与子任务处理单元之间的多个数据通道；其中，所述多个数据通道至少包括M个专用通道和1个公用通道，M取值大于或等于所述多个数据通道所服务的分布式节点数量；

根据所述多个数据通道中任一数据通道对应的编号，确定各个分布式节点分别对应的各个专用通道，并检测同一分布式节点对应各个专用通道的数据处理量是否大于或等于待处理数据量；

若是，则基于所述同一分布式节点对应的各个专用通道，将主任务处理单元中所述同一分布式节点对应的待处理数据传输给互相对应的子任务处理单元进行处理；

若否，则基于所述同一分布式节点对应的各个专用通道以及所述公用数据通道，将主任务处理单元中所述同一分布式节点对应的待处理数据传输给互相对应的子任务处理单元进行处理。