[发明专利]一种海量数据高速处理、交互的系统及方法

摘要

本发明公开了一种海量数据高速处理、交互的系统及方法，其中系统包括数据收发模块、中央处理模块和数据处理模块。数据收发模块用于收发数据，中央处理模块根据GPU的数量n，开辟n块环形缓冲区，缓冲接收的数据，在积攒了一定的数据量后或一定时间内将数据拷贝至系统内存，并事先将系统内存直接映射到各GPU，待GPU处理完毕后将处理后的结果通过数据收发模块发出；数据处理模块通过DMA映射获取内存中对应的数据，控制对应的GPU进行多线程高并发处理，并将处理后的结果返回给中央处理模块。本发明实现了NIC与GPU之间的海量数据高速交互，即提高了系统的海量网络数据处理能力及交互能力，为网络实时分析提供了更可靠的技术支持。

主权项

一种海量数据高速处理、交互的方法，其特征在于，包括如下步骤：步骤1：中央处理模块根据GPU的数量n，开辟n块的环形缓冲区，将每块环形缓冲区分割成若干节点，并将环形缓冲区映射到系统的应用层；步骤2：中央处理模块将内存映射到GPU；步骤3：数据到达数据收发模块后，通过分流的机制选择对应的环形缓冲区，通过DMA映射到对应的环形缓冲区的节点中；步骤4：中央处理模块判断环形换冲区中的数据包是否已经到达了对应的GPU批量处理的数量，若已到达，则执行下一步骤，若未到达，则等待固定的时间后再执行下一步骤；步骤5：中央处理模块将环形缓冲区内的数据包进行整理，拷贝到事先映射到GPU的系统内存中；步骤6：GPU开启多线程高并发处理数据包，并将处理后的数据包返回给中央处理模块；步骤7：中央处理模块根据处理结果指导数据收发模块转发处理后的数据包。