[发明专利]一种基于软硬件协同加速的关系网络推理优化的方法

说明书

本发明公开了一种基于软硬件协同加速的关系网络推理优化的方法，能够解决关系网络推理计算的速度与效能问题，包括运行在X86/GPU平台的支持集特征提取流程以及运行在FPGA芯片的关系网络图像分类推理设计。支持集特征提取流程为：接收不同类别的支持集图像数据。针对不同类别的支持集进行特征提取，构建不同的特征池，作为离线支持集特征。运行在FPGA芯片的关系网络图像分类推理设计采用FPGA芯片上构建的测试图像特征提取模块和关系计算模块：接收离线支持集特征存入DRAM。测试图像特征提取模块接收测试图像，进行特征提取，获得测试图像特征。关系计算模块进行关系网络推理计算，获得关系分数。基于FPGA的关系网络图像分类推理设计采用多核互联设计。

技术领域

本发明涉及软硬件协同加速技术领域，具体涉及一种基于软硬件协同加速的关系网络推理优化的方法。

背景技术

基于深度学习的卷积神经网络技术广泛应用于图像处理任务中，在大规模标注的Imagenet数据集上提出的AlexNet、VGG16、ResNet等大规模深度模型，展现了较高的识别准确率。然而，在少样本学习应用中，尤其是对新的未知类别分类任务中，需要新的学习模式和方法，包括Matching Nets、Meta Nets、MAML、 Prototypical Nets、Relation Net等少样本学习方法，通过构建多批次的不同类别任务对模型进行训练，引入支持集作为先验知识，用以处理未知类别任务的分类，关系网络相对于其他模型，在Ominiglot数据集和miniIMagenet数据集上取得了较高的识别准确率。

关系网络采用浅层卷积块的设计方式构建了特征提取模块和关系计算模块，通常的推理计算方式采用中央处理器(central processing unit,CPU)或者图形处理器(graphics processing unit,GPU)进行处理，使用CPU处理速度较慢，使用 GPU处理能效不高。关系网络以及少样本学习技术^[4-8]受限于少量样本在大模型网络的过拟合问题，通常采用浅层卷积块的方式构建特征提取模块和关系计算模块，计算复杂度和模型参数存储量相对较少，适合基于现场可编程门阵列(field programmable gate array,FPGA)处理的加速方式。

典型的关系网络推理输入为支持集、测试图像，输出为关系分数，多个支持集的关系分数最终选出测试图像的类别，同一张测试图像在不同的支持集相关的关系计算下会输出不同的结果。根据支持集的类别数(C-Way)、每类支持集的数量(K-Shot)，可以构成不同的C-Way K-Shot推理任务。关系网络推理计算包括两个模块的卷积计算部分，分别是特征提取模块和关系计算模块，主要由卷积计算、最大池化计算以及全连接计算组成。特征提取模块用于支持集和测试图像的特征提取，对于C-Way K-Shot模式的支持集特征提取，K为1时，输出为单张图像的卷积输出特征图，K大于1时，则是多张图像的卷积输出特征对应元素累加值。经过特征提取模块提取了支持集特征和测试图像特征后，测试图像特征与支持集特征拼接起来构成输入特征图送入关系计算模块，分别计算特征的相似度为输出值，对于C-Way的特征值，选取分数最大的作为该测试图像的类别输出。

关系网络的推理计算中存在测试图像与多批次支持集之间的关系计算需求，关系分数的准确率以及置信度依赖于支持集数量的大小。多批次的支持集关系计算引入了非常大的计算、存储开销，基于通用的CPU、GPU处理的关系网络推理计算计算速度慢、能耗较高，需要设计一个高效能的推理计算加速器来提升关系网络推理计算的效能。

发明内容

有鉴于此，本发明提供了一种基于软硬件协同加速的关系网络推理优化的方法，能够解决关系网络推理计算的速度与效能问题，在不降低关系网络推理计算准确率的要求下，采用软硬件协同加速的方式解决处理吞吐量与效能问题。

为达到上述目的，本发明的技术方案为：一种基于软硬件协同加速的关系网络推理优化的方法，包括运行在X86/GPU平台的支持集特征提取流程以及运行在FPGA芯片的关系网络图像分类推理流程。