[发明专利]异构计算平台的数据处理方法、装置、系统、设备及介质

说明书

本申请公开了一种异构计算平台的数据处理方法、装置、系统、电子设备及可读存储介质。其中，方法包括预先在PostgreSQL数据库应用程序中申请预设空间容量的数据内存；调用PostgreSQL数据库应用程序从目标磁盘文件中读取待处理数据，并将待处理数据存储至数据内存中；当检测到满足数据下发条件，通过DMA驱动程序将待处理数据从数据内存中拷贝至操作系统内核空间的DMA缓存；将待处理数据下发至FPGA板卡的板卡内存中，FPGA板卡从板卡内存中读取待处理数据并对其进行相应的数据处理，有效提高异构计算平台的数据处理效率，有利于提高数据库查询效率。

技术领域

本申请涉及计算机技术领域，特别是涉及一种异构计算平台的数据处理方法、装置、系统、电子设备及可读存储介质。

背景技术

随着互联网的快速发展，数据库技术与网络通信技术、人工智能技术、并行计算技术等技术进行渗透结合，数据库所承载的数据量与日俱增，对海量数据进行高效、实时、多维分析的需求越来越多，高效地从海量数据中检索出有用的信息，灵活快速地响应各种查询需求，成为数据库技术研究的重要方向。特别是对于PostgreSQL关系型数据库，由于开源特性，其源代码面对所有科技研发开放透明，对PostgreSQL关系型数据库的异构加速的研究也是近年来的热点之一。

为了应对海量的数据查询问题，释放占用CPU(central processing unit，中央处理器)的资源，用于单独计算数据的异构加速计算单元应用而生。目前现有的数据库异构加速方法有三大类，一是CPU+IC(Integrated Circuit Chip，集成电路芯片)专用加速芯片，二是CPU+GPU(graphics processing unit，图像处理器)，三是CPU+FPGA(FieldProgrammable Gate Array，现场可编程逻辑门阵列)。对于基于CPU+FPGA这种方式，其实现分为硬件和软件两个方面，在硬件层设计用于数据加速的逻辑电路，在软件层实现数据整合、通过驱动软件下发。

相关技术中的CPU+FPGA结构及数据处理流程请参阅图1所示，其中，主机HOST程序中采用的是PostgreSQL开源数据库，此数据库应用程序会首先读取磁盘文件数据，然后调用Opencl(Open Computing Language，开放运算语言)的API(Application ProgrammingInterface，应用程序接口)将数据拷贝至系统缓存中，最后将数据传递至FPGA板卡中，FPGA板卡对接收到的数据进行加速计算、查询等操作，在操作完成后会将数据处理结果返回至HOST主机端，其过程与写入类似。

在现有方案中，HOST层中PostgreSQL数据库应用程序读取磁盘文件时，每次只能获取8K大小的数据，然后通过Opencl、PCIe驱动等一些列的软件系统调用程序发送给FPGA端，每种系统调用都会消耗一些时间，如在磁盘中遇到50G或100G等这种较大的数据文件，反复进行系统调用，操作效率会非常低。此外，由于其加载了Opencl用作异构系统对上层提供的API系统调用，当磁盘文件中的数据被PostgreSQL数据库程序读到应用层的缓存后，还需要继续将数据搬运至Opencl的缓存中，然后才可启动数据传输。在数据被搬运至Opencl的过程需要消耗的I/O时间太长，效率也会大大降低。

鉴于此，如何提高异构计算平台的数据处理效率，是所属领域技术人员需要解决的技术问题。

发明内容

本申请提供了一种异构计算平台的数据处理方法、装置、系统、电子设备及可读存储介质，有效提高异构计算平台的数据处理效率，有利于提高数据库查询效率。

为解决上述技术问题，本发明实施例提供以下技术方案：

本发明实施例一方面提供了一种异构计算平台的数据处理方法，包括：

预先在PostgreSQL数据库应用程序中申请预设空间容量的数据内存；