[发明专利]一种基于视觉的弹孔检测方法及系统

说明书

本发明公开了一种基于视觉的弹孔检测方法及系统，方法包括：S1，获取打靶弹孔图像数据集并进行弹孔标注；S2，构造一种卷积特征与纹理特征深度融合的超轻量化网络，并基于弹孔图像数据，进行模型训练得到检测模型；S3，基于训练得到的检测模型进行推理，获取单帧弹孔检测结果；S4，基于多帧检测结果，构建当前帧的弹孔积分图；S5，基于当前帧弹孔积分图与前一帧的弹孔积分图，进行匹配和帧差，获取当前帧的新增弹孔；系统包括：聚焦层、嵌套瓶颈层、卷积层，以及由单尺度目标回归子网络、纹理特征提取单元、特征融合与优选模块构成的特征融合与单尺度目标回归模块；本发明降低了资源消耗，且检测准确度、鲁棒性好。

技术领域

本发明涉及图像识别技术领域，尤其是涉及一种基于视觉的弹孔检测方法及系统。

背景技术

在射击训练报靶设备技术领域，传统的报靶方式主要有人工报靶，光电传感器报靶以及近来使用较多的基于图像的报靶系统。

人工报靶效率极低，且大部分情况下无法实时报靶；光电传感器报靶方式虽然精度较高但其成本较高，且日常维护较为复杂；因此目前业界普遍使用基于视觉算法的报靶方式。基于视觉报靶方案的核心问题为如何精确地对新增的射击弹孔进行检测。目前主流的弹孔检测方案均是使用帧差法或者多帧帧差法，该方法运算资源消耗较小，但是其对光照、抖动等干扰因子较敏感，导致基于帧差法的弹孔检测准确率较低。基于深度学习的弹孔检测获得了较好的准确率，但是由于大部分的检测网络深度较大，消耗大量的计算资源，导致实际部署中需要配套成本较高的GPU或者其他AI计算硬件。

基于此，需要提供一种资源消耗较小且准确率、鲁棒性较高的弹孔检测方法。

发明内容

为解决现有方法的检测率低及鲁棒性较差的问题，针对帧差法对光照和抖动敏感问题，本发明提出了一个卷积特征和纹理特征融合的深度神经检测网络，采用单尺度Anchor进行弹孔的坐标回归，通过多样本训练以及与纹理特征融合来降低光照变化对结果的影响；同时，还提出了一个基于弹孔积分图的后处理算法，利用弹孔痕迹的不可逆特性，通过弹孔积分图获取结果量化灰度图，再通过积分灰度图配准后进行帧差来获取新增弹孔坐标。具体技术方案如下：

一种基于视觉的弹孔检测方法，包括如下步骤：

S1，获取打靶弹孔图像数据集，并标注弹孔；

S2，构造卷积特征与纹理特征深度融合的超轻量化网络并进行训练，包括如下步骤：

S21，对打靶图像的图像张量进行多层划片，然后重新组合；

S22，将重新组合的图像张量，输入类残差结构，进行高层语义信息的提取；

S23，采用基于单尺度目标回归子网络，通过回归得到的坐标，得到疑似弹孔区域，对疑似弹孔区域提取纹理特征，并与输入单尺度目标回归子网络后的卷积特征进行融合，经过通道注意力机制进行特征优选，将优选后的特征进行弹孔和非弹孔二分类，通过二分类结果与标注弹孔，进行深度融合网络的训练；

S3，基于训练好的深度融合网络进行推理，获取单帧图像弹孔检测结果；

S4，在视频中检测中，基于多帧图像的所述检测结果构建当前帧的弹孔积分图；

S5，基于所述的当前帧弹孔积分图与前一帧的弹孔积分图进行配准并进行帧差，最终获取当前帧的新增弹孔。

进一步地，所述S1中使用矩形框对每张打靶图像的弹孔进行标注，并标注为类别0；所述S23中的单尺度目标回归子网络，通过回归得到的坐标，确定疑似弹孔目标框(X,Y,W,H)，其中X，Y分别表示疑似弹孔目标框的中心坐标，W，H分别表示疑似弹孔目标框的宽和高；对疑似弹孔目标框提取纹理特征；将优选后的特征进行二分类，得到弹孔和非弹孔的二分类置信度，分类结果0表示为弹孔，分类结果1表示为非弹孔，通过二分类结果得到的预测弹孔目标框与标注弹孔矩形框，进行深度融合网络的训练。