[发明专利]数据并行处理方法及系统

权利要求书

1.一种数据并行处理方法，其特征在于，包括如下步骤：

步骤1，主管理节点接收数据并获取数据的关联关系；

步骤2，主管理节点计算工作计算节点的可调配的GPU和GPU工作负载；

步骤3，主管理节点划分数据并将已划分的数据分发到各个工作计算节点；

步骤4，工作计算节点对接收到的数据进行并行处理并将处理的结果传输回主管理节点；

步骤5，主管理节点将结果合并输出；

步骤1中，主管理节点对数据进行最近邻关联数据集建模，获取数据源之间的关联关系；

步骤1中，主管理节点对数据进行最近邻关联数据集建模包括如下步骤：

步骤1.1，根据数据的分类和特征对数据进行维度划分；

步骤1.2，对数据的每个维度进行方差计算；

步骤1.3，以计算所得的最大方差值所对应的维度为依据划分数据。

2.根据权利要求1所述的数据并行处理方法，其特征在于，步骤1中，主管理节点通过jdbcDNA接口接收数据。

3.根据权利要求1所述的数据并行处理方法，其特征在于，维度包括用户相似度、数据源位置、数据访存时间、数据类型、数据访问频度及内存依赖程度。

4.根据权利要求1所述的数据并行处理方法，其特征在于，步骤2中，主管理节点通过基于父子节点双血缘机制计算工作计算节点的状态。

5.根据权利要求4所述的数据并行处理方法，其特征在于，步骤2中，主管理节点通过基于父子节点双血缘机制计算工作计算节点的状态信息包括如下步骤：

步骤2.1，子血缘采集所在的工作计算节点的状态信息并将采集到的状态信息传输给父血缘；

步骤2.2，父血缘接收状态信息并根据状态信息对子血缘进行调配。

6.根据权利要求5所述的数据并行处理方法，其特征在于，父血缘与子血缘之间采用异步更新机制。

7.根据权利要求1所述的数据并行处理方法，其特征在于，步骤4中，各个工作计算节点将数据转化成的具体作业并进行分割，然后进行基于节点粒度的部署，启动执行调度器将作业分割为具体的任务进行并行处理。

8.一种数据并行处理系统，其特征在于，数据并行处理系统采用权利要求1至7任意一项数据并行处理方法。