[发明专利]数据并行处理方法及系统

摘要

本发明提供的一种数据并行处理方法，包括如下步骤：步骤1，主管理节点接收数据并获取数据的关联关系；步骤2，主管理节点计算工作计算节点的可调配的GPU和GPU工作负载；步骤3，主管理节点划分数据并将已划分的数据分发到各个工作计算节点；步骤4，工作计算节点对接收到的数据进行并行处理并将处理的结果传输回主管理节点；步骤5，主管理节点将结果合并输出。本发明的有益效果如下：采用了主/从架构模式用于高性能大规模数据并行处理，根据DNA特征建模，将应用程序转化成的具体作业进行作业阶段划分，并根据划分结果，进行节点粒度级别的作业部署,采用线程并行优化机制，充分利用多计算核提高单节点内数据流并行任务的执行效率。

主权项

1.一种数据并行处理方法，其特征在于，包括如下步骤：步骤1，主管理节点接收数据并获取数据的关联关系；步骤2，主管理节点计算工作计算节点的可调配的GPU和GPU工作负载；步骤3，主管理节点划分数据并将已划分的数据分发到各个工作计算节点；步骤4，工作计算节点对接收到的数据进行并行处理并将处理的结果传输回主管理节点；步骤5，主管理节点将结果合并输出；步骤1中，主管理节点对数据进行最近邻关联数据集建模，获取数据源之间的关联关系；步骤1中，主管理节点对数据进行最近邻关联数据集建模包括如下步骤：步骤1.1，根据数据的分类和特征对数据进行维度划分；步骤1.2，对数据的每个维度进行方差计算；步骤1.3，以计算所得的最大方差值所对应的维度为依据划分数据。