[发明专利]数据并行处理方法及系统

说明书

本发明提供的一种数据并行处理方法，包括如下步骤：步骤1，主管理节点接收数据并获取数据的关联关系；步骤2，主管理节点计算工作计算节点的可调配的GPU和GPU工作负载；步骤3，主管理节点划分数据并将已划分的数据分发到各个工作计算节点；步骤4，工作计算节点对接收到的数据进行并行处理并将处理的结果传输回主管理节点；步骤5，主管理节点将结果合并输出。本发明的有益效果如下：采用了主/从架构模式用于高性能大规模数据并行处理，根据DNA特征建模，将应用程序转化成的具体作业进行作业阶段划分，并根据划分结果，进行节点粒度级别的作业部署,采用线程并行优化机制，充分利用多计算核提高单节点内数据流并行任务的执行效率。

技术领域

本发明属于计算机系统与高性能计算领域，具体涉及一种在众核处理器架构上的大规模数据高性能并行处理方法，它是一种高效能的处理密集型大数据并且能够提供辅助决策的有效方法。

背景技术

随着科学研究、电子商务、社交网络、移动通信等各行业领域无时不刻都会产生大量数据，这些数据的类型日益复杂，数量日趋庞大，处理规模从TB级别演变到PB级别，直到如今的EB级别，这对大数据处理的高效性、实时性提出了严峻的挑战。半导体工艺技术和体系结构不断发展，处理器功能、分布式存储技术、GPU 高速运算卡、微处理器结构、多核、众核设计技术也在不断创新。利用这些技术最大化并行处理能力是应对这一挑战的有效手段之一，也是E级计算重大挑战之一。

国内外学术界和工业界诸多学者和开发者做了很多卓有成效的工作，给出一系列的面向众核处理器的高性能大规模数据并行处理技术原理、框架模型和技术实现等。比如，Shahram等人在Shahram T,YongshengZ,Tong H,et al.A robust framework for real-time distributed processing of satellite data[J], Parallel DistributedComputing,2006,66(3):403-418(面向卫星数据处理的鲁棒性实时分布式框架)中，通过多台服务器冗余备份的方式构建系统架构模型，并实现处理卫星数据的分布式实时并行计算的框架，保障冗余数据库的可靠性和可操作性。虽然该框架在一定程度上保证了并行框架数据处理技术的稳定性，但是和大数据量的强重复性计算一样，需要不断读写磁盘，没有充分利用计算机系统的内存资源进行快速计算，而且未挂载GPU高速运算卡加速运算，故其计算性能远远未能达到最佳。Yi Cao等人在Yi Cao,et al.A parallel computingframework for large-scale air traffic flow optimization,IntelligentTransportation Systems,IEEE Transactions on,2012,13(4):1855-1864(大规模航空交通流优化并行计算框架)中提出并构建了一个并行计算框架，该框架分别通过利用TCP 和UDP协议在服务器端和客户端之间交互通信命令与数据，用来计算解决大规模的航空交通数据流的优化问题。但是，该并行计算框架明显地缺乏有效的容错保障机制，很难保证运行的可靠性和稳定性。Yizhuo Wang等人在Yizhuo W,Yang Z,et al.An adaptive andhierarchical task scheduling scheme for multi-core clusters[J],ParallelDistributed Computing,2014,40(10):611-627(一种面向多核集群的可适用性和层次调度模式)中，首先对任务初始化进行划分，在父子计算机节点分别设计全局调度器和局部调度器，并通过计算节点内部 work-stealing和计算节点间work-sharing相结合的方式，筛选victim节点动态调节计算节点间工作负载，以达到负载均衡。RanieriBaraglia等人在RanieriBaraglia,et al.A multi-criteria job scheduling framework for largecomputing farms,Journal of Computer and System Sciences,2013,79(2): 230-244(面向大规模集群的多标准工作调度框架)提出了一种多标准的工作调度框架，用于优化大规模的计算节点负载均衡，缓解“木桶效应”问题。以上学者对已有的并行计算框架做调度优化设计，但是仍然还缺乏系统化的方法指导和成熟的技术支持。