[发明专利]一种基于zynqMP的目标检测装置

说明书

本发明提供一种基于zynqMP的目标检测装置，属于目标检测技术领域，该装置通过摄像头采集视频，进入zynqMP的PS端首先进行图像预处理，变为可以适合神经网络模型输入的格式，同时对图像数据进行优化，以减少神经网络模型加速时所需要的PL资源。PS和PL端通过AIX总线交换数据，经过神经网络的卷积池化激活加速后将在PS端完成全连接成的工作并把识别的最终结果显示到PS的终端上。该装置不仅可适合多种神经网络，还具有识别精度高速度快的特点。

技术领域

本发明涉及目标检测技术领域，尤其涉及一种基于zynqMP的目标检测装置。

背景技术

目标检测，也叫目标提取，是一种基于目标几何和统计特征的图像分割，它将目标的分割和识别合二为一，其准确性和实时性是整个系统的一项重要能力。尤其是在复杂场景中，需要对多个目标进行实时处理时，目标自动提取和识别就显得特别重要。

随着计算机技术的发展和计算机视觉原理的广泛应用，利用计算机图像处理技术对目标进行实时跟踪研究越来越热门，对目标进行动态实时跟踪定位在智能化交通系统、智能监控系统、军事目标检测及医学导航手术中手术器械定位等方面具有广泛的应用价值。

由于目标检测技术要求的日益提高，对目标处理及检测速度和精度都有了较高的要求，进而需要新的方法来面对现有的检测需求。

zynqMP芯片是包含了FPGA、多核ARM、图像处理器的一种SOC芯片，兼具了FPGA的灵活性和ARM芯片强大的处理功能。

发明内容

为了解决以上技术问题，本发明提出了一种基于zynqMP的目标检测装置，使用此类互联装置的系统具有目标检测速度快，检测精度高的特点。

本发明的技术方案是：

一种基于zynqMP的目标检测装置，该装置主要采用单主控芯片和外围存储芯片完成。主控芯片为包含arm核的zynqMP芯片。通过视频输入设备和视频输出部分完成图像截取和输出。

其中，该装置的PS（arm核心）主要包括视频获取并存储图像，对系统和告警进行管理，对系统错误进行重启恢复。

该装置的PS端图像的预处理，将输入图像转换成适宜神经网络处理的格式。并且对图像数据进行优化，剔除为0的数据，同时对图像数据进行清晰性处理。

进一步的，该装置的PS端还进行神经网络的全连接层运算。

进一步的，该装置的PS端还进行神经网络的指令和数据下发的控制。

进一步的，该装置的PL（FPGA）端完成神经网络的加速功能，包括卷积池化激活等模块

进一步的，该装置的PL（FPGA）端DDR存储神经网络计算的中间结果，PS端存储图像数据和神经网络训练的权重。

本发明的主要工作过程为：

该装置通过摄像头采集视频，进入zynqMP的PS端首先进行图像预处理，以减少神经网络模型加速时所需要的PL资源。PS和PL端通过AIX总线交换数据，经过神经网络的卷积池化激活加速后将在PS端完成全连接成的工作并把识别的最终结果显示到PS的终端上。

进一步的，

其中，主控芯片zynqMP的PS端完成图像接收和存储，将每帧图像做预处理，PS端DDR除了存储中间图像信息外，还需要存储用于神经网络的训练好的模型参数，PS端通过AXI接口下发模型参数和指令来指导神经网络的加速。同时接收PL端的错误信息并进行处理提高系统的容错性。

除此之外，为了减少PL端的资源占用，降低PL端计算的复杂度，将神经网络的全连接层放在PS端实现，最终结果通过DP等视频接口显示在外部显示器上。同时PS端也完成外围设备的驱动及PL端加速器的设备驱动实现。