[发明专利]基于脉冲神经网络的神经形态视觉传感器目标检测方法

说明书

本发明公开了一种基于脉冲神经网络的神经形态视觉传感器目标检测方法，包括以下步骤：S1，训练裁剪后的人工神经网络；S2，将人工神经网络转换为脉冲神经网络；S3，神经形态视觉传感器采集动态物体的画面信息，并对该画面信息进行图像重构后将时空脉冲信号输入脉冲神经网络；S4，脉冲神经网络对时空脉冲信号计算检测并进行解码后输出图像，根据检测结果在图像上做出标注，用矩形框标出每个目标中标注的位置和类型，并判断检测与识别的结果；S5，对识别和检测的结果进行验证。本发明对硬件具有友好性，能够处理高速动态物体的检测图像。

技术领域

本发明属于神经网络目标检测技术领域，特别涉及一种基于脉冲神经网络的神经形态视觉传感器目标检测方法。

背景技术

近年来，神经形态视觉传感器凭借其高动态、低功耗、低冗余等优势在无人科技、智能工业等领域有着巨大的应用前景。深度学习彻底改变了机器学习领域，尤其是在计算机视觉，其使用反向传播以监督的方式训练深层人工神经网络，但训练过程需要大量带标签的训练样本、强大的算力以及漫长的训练时间。然而人工神经元与生物神经元传输数据与计算的方法完全不同，前者使用实值信号，而后者使用离散的脉冲来计算和传输信息，并且除了脉冲发放率外，脉冲时间也很重要，因此脉冲神经网络在生物学上更容易现实，也更具硬件友好性和能源效率，因此对便携式设备具有吸引力。

目标检测是计算机视觉领域中的一个重要的研究课题。已经被广泛的使用在多个真实场景的应用中，如人脸识别，交通安全，人群监控和图像检索等。面对海量的图像视频数据，低耗自动化和快速的目标检测方法是迫切需要的。

神经形态视觉传感器所捕捉的低冗余时空脉冲数据可以实现脉冲神经网络端到端的训练学习，所以神经形态视觉传感器对脉冲神经网络应用在目标检测领域的研究具有重要的理论意义和现实意义。

发明内容

针对传统的人工神经网络越来越难以应对海量的图像视频数据，本发明提出了一种基于脉冲神经网络的神经形态视觉传感器目标检测方法。

为了解决上述技术问题，本发明的技术方案为：

一种基于脉冲神经网络的神经形态视觉传感器目标检测方法，包括以下步骤：

S1，训练裁剪后的人工神经网络；

S2，将人工神经网络转换为脉冲神经网络；

S3，神经形态视觉传感器采集动态物体的画面信息，并对该画面信息进行图像重构后将时空脉冲信号输入脉冲神经网络；

S4，脉冲神经网络对时空脉冲信号计算检测并进行解码后输出图像，根据检测结果在图像上做出标注，用矩形框标出每个目标中标注的位置和类型，并判断检测与识别的结果；

S5，对识别和检测的结果进行验证。

优选的，步骤S4包括以下步骤：

S41，将时空脉冲信号输入主干特征提取网络；

S42，主干特征提取网络分两路分布输出至平均池化层和加强特征提取网络；

S43，平均池化层输出至加强特征提取网络；

S44，加强特征提取网络输出两个有效特征至基于V_m脉冲译码层；

S45，对基于V_m脉冲译码层输出的检测与识别的结果进行判断。

优选的，步骤S41包括以下步骤：

S411，将时空脉冲信号导入输入层；

S412，时空脉冲信号通过输入层输入脉冲编码层；

S413，脉冲编码层进行编码后输出至两次脉冲卷积标准化处理层；