[发明专利]基于FPGA的实时图像分类方法及系统

说明书

本发明提供了一种基于FPGA的实时图像分类方法及系统，所述系统包括用于图像收集的图像获取模块、用于对图像进行解码的解码模块、DDR以及图像处理模块；所述图像获取模块、解码模块、DDR以及图像处理模块依次通讯连接。本发明提供的卷积神经网络加速模块可以根据板卡资源配置多通道的卷积神经网络加速计算，设置最大并行度进行卷积计算，能够在FPGA上高效率以流水线方式实现卷积神经网络，大大提高了卷积神经网络的推理速度，在不同场景下快速进行图像分类。

技术领域

本发明涉及一种基于FPGA的实时图像分类方法及系统，属于图像分类技术领域。

背景技术

卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一。在二十一世纪后，随着深度学习理论的提出和数值计算设备的改进，卷积神经网络得到了快速发展，并被应用于计算机视觉、自然语言处理等领域。卷积神经网络为图像而生，但应用不限于图像。在图像处理任务上，卷积神经网络可以用来识别位移、缩放及物体形态扭曲的二维图形。一方面，由于其网络模型中的特征是通过训练数据集进行图像特征学习，从而避免了显式地特征抽取；另一方面，由于图像上同一特征映射面上的神经元权值相同，所以卷积神经网络模型可以并行训练，极大地提高神经网络的训练时长。此外，与神经元彼此相连的神经网络(如传统的人工神经网络)相比，卷积神经网络模型的组织方式特殊，其结构模型更易于理解和分析。卷积神经网络的应用场景和案例并不一定能够真正应用在实际工程领域，但也是足够精彩，因为它不仅代表业界最先进的视觉技术，甚至还可能超出我们的想象范围。

FPGA作为一种可编程的逻辑资源，在处理卷积神经网络上有着得天独厚的高并行度的优势，可以调整其架构以最大限度地提高性能，同时降低成本和功耗，对于卷积神经网络，可以利用FPGA的高性能接口，高并行度的数据计算，从而起到推理加速的功能。在FPGA上部署ResNet涉及到数据流、并行度等问题，如何将获得的图片数据传入到板卡中也是关键所在，更重要的是如何提高数据传输的效率，这也是亟待解决的问题。

有鉴于此，确有必要提出一种基于FPGA的实时图像分类方法及系统，以解决上述问题。

发明内容

本发明的目的在于提供一种基于FPGA的实时图像分类的系统，以提高数据传输和图像处理的效率。

为实现上述目的，本发明提供了一种基于FPGA的实时图像分类的系统，所述系统包括用于图像收集的图像获取模块、用于对图像进行解码的解码模块、DDR以及图像处理模块；所述图像获取模块、解码模块、DDR以及图像处理模块依次通讯连接。

作为本发明的进一步改进，所述图像处理模块包括数据加载缓冲模块、数据预处理模块、数据重排模块、卷积神经网络模块、数据后处理模块以及数据暂存模块，所述数据加载模块、数据预处理模块、数据重排模块、卷积神经网络模块、数据后处理模块以及数据暂存模块各自相互通讯连接。

作为本发明的进一步改进，所述卷积神经网络加速模块包括卷积计算模块、激活函数模块、池化模块和全连接模块，所述卷积计算模块、激活函数模块、池化模块和全连接模块各自相互通讯连接。

作为本发明的进一步改进，所述DDR为包括控制模块、权重偏置数据模块的DDR。

作为本发明的进一步改进，所述图像获取模块为以太网摄像头。

本发明的目的还在于提供一种基于FPGA的实时图像分类方法，以更好地应用上述基于FPGA的实时图像分类的系统。

为实现上述目的，本发明提供了一种基于FPGA的实时图像分类方法，所述实时图像分类方法主要包括：

步骤1，通过FPGA上的以太网接口获取图像信息传至VCU IP进行图片解码，然后将数据保存至DDR；

步骤2，DDR开始加载图像、指令、权重偏置等数据；