[发明专利]一种基于FPGA的图计算数据预处理方法、装置、设备和介质

说明书

本发明公开了一种基于FPGA的图计算数据预处理方法、装置、设备及介质，方法包括：将内存地址划分出若干具有不同地址范围的基地址，将基地址写入FPGA中的第一FIFO中；响应于原始边数据输入，判断是否需要新的基地址存储原始边数据；当判断需要，从第一FIFO中取出一个新的基地址并存入到与目的节点范围相对应的第二FIFO中；将原始边数据存入新的基地址中，并对每个目的节点范围内的原始边数据进行标数；当源节点范围相同的数据已经全部输入，将源节点范围的相关信息写入第三FIFO中；当判断第三FIFO不为空，根据目的节点的范围顺序依次从SDRAM中读取原始边数据并输出，并将所使用的基地址存入第一FIFO中。本发明处理速度快，可以根据需要进行灵活配置。

技术领域

本发明涉及图像处理领域，更具体地，特别是指一种基于FPGA的图计算数据预处理方法、装置、设备和介质。

背景技术

大数据时代，图作为一种基础的数据表示方式，广泛应用于各类算法如深度学习，用户推荐等。目前，图的规模往往达到数千万至数亿节点量级，图的边（节点与节点的联系）信息达到数十亿的规模。实际生活中的图，具有规模巨大、节点稀疏不连续、节点网络度分布呈现幂律度分布等特点，为设计有效的图处理算法带来巨大的挑战。

大规模图计算方法需要将原始的边数据按照源节点号和目的节点号的数值大小进行分块，然后以多个数据块同时进行并行计算的方式提高运算速度。这一对原始边数据进行分块的数据预处理操作都是由CPU来实现的，计算时间很长，甚至超过图计算本身的时间，严重影响了大规模图计算的实时性。

申请号为CN201810011291.2的《基于FPGA的异构可重构图计算加速器系统的设计方法》中，公开了一种比较接近的现有技术方案。此方案采用PC端进行数据预处理，而后用FPGA进行图计算。然而，此方案采用PC端进行数据预处理，在计算大规模图时，预处理时间过长，严重影响大规模图计算整体计算速度。

发明内容

有鉴于此，本发明实施例的目的在于提供一种基于FPGA（Field ProgrammableGate Array，现场可编程与门阵列）的大规模图计算数据预处理的方法、装置、设备和介质，使用FPGA和SDRAM（synchronous dynamic random-access memory，同步动态随机存取内存）配合的方式进行分块操作，大幅降低了数据预处理时间，达到了预处理与输入数据同步的效果，使大规模图计算的总体计算速度得到了大幅提高。同时具有可灵活配置块大小的特点，适用于各种规模的图计算。

基于上述目的，本发明一方面提供了一种基于FPGA的图计算数据预处理方法，该方法包括：

将内存地址划分出若干具有不同地址范围的基地址，将基地址写入FPGA中的第一FIFO（First in First out，先入先出缓存）中；

响应于原始边数据输入，根据原始边数据的目的节点所在范围判断是否需要新的基地址存储原始边数据；

响应于判断需要新的基地址存储原始边数据，从第一FIFO中取出一个新的基地址并存入到与目的节点范围相对应的第二FIFO中；

将原始边数据存入新的基地址中，并对每个目的节点范围内的原始边数据进行标数；

响应于源节点范围相同的数据已经全部输入，将源节点范围所包含的相关信息写入第三FIFO中；

响应于判断第三FIFO不为空，根据目的节点的范围顺序依次从SDRAM中读取原始边数据并输出，并且将所使用的基地址存入第一FIFO中。

在本发明的基于FPGA的图计算数据预处理方法的一些实施方式中，将原始边数据存入新的基地址中，并对每个目的节点范围内的原始边数据的个数进行标数还包括：

将源节点范围相同的原始边数据按照目的节点范围的顺序写入相应的基地址中。