[发明专利]基于动态数据拆分的分布式并行计算的系统及其方法

摘要

一种基于动态数据拆分的分布式并行计算的系统及其方法，该系统包括：拆分单元，其负责分割待计算的数据项目，把待计算数据根据划分规则划分成若干相对独立计算项；运算单元，其负责对所述计算项进行分布式并行计算，包括若干运算机；环境单元，其负责在并行计算前部署所述运算机中的执行环境，并且在计算执行完成后将所述运算机还原到执行前的状态；负载均衡单元，其负责检查所有运算机的负载情况，并根据各运算机的资源消耗情况动态地分配相应数量的计算项至各运算机。本发明的优点为：1)最大程度加快计算速度；2)最大程度利用了计算机的空闲资源；3)方便控制、监控和查看数据计算；4)运算单元自容灾。

主权项

1、一种基于动态数据拆分的分布式并行计算的系统，其特征在于，其包括：拆分单元，其负责分割待计算的数据项目，把待计算数据根据划分规则划分成若干相对独立的子集，这些子集中，每个与其它子集的计算无相关性的子集作为一个计算项；运算单元，其负责对所述计算项进行分布式并行计算，包括若干运算机，各运算机分别计算其所分配到的计算项；环境单元，其负责在并行计算前部署所述运算机中的执行环境，并且在计算执行完成后将所述运算机还原到执行前的状态；负载均衡单元，其负责检查所有运算机的负载情况，并根据各运算机的资源消耗情况动态地分配相应数量的计算项至各运算机。