[发明专利]一种基于视觉的弹孔检测方法及系统

权利要求书

1.一种基于视觉的弹孔检测方法，其特征在于包括如下步骤：

S1，获取打靶弹孔图像数据集，并标注弹孔；

S2，构造卷积特征与纹理特征深度融合网络并进行训练，包括如下步骤：

S21，对打靶图像的图像张量进行多层划片，然后重新组合；

S22，将重新组合的图像张量，输入类残差结构，进行高层语义信息的提取；

S23，采用单尺度目标回归子网络，通过回归得到的坐标，得到疑似弹孔区域，对疑似弹孔区域提取纹理特征，并与输入单尺度目标回归子网络后的卷积特征进行融合，经过通道注意力机制进行特征优选，将优选后的特征进行弹孔和非弹孔二分类，通过二分类结果与标注弹孔，进行深度融合网络的训练；

S3，基于训练好的深度融合网络进行推理，获取单帧图像弹孔检测结果；

S4，基于多帧图像的检测结果构建当前帧图像的弹孔积分图；

S5，基于所述的当前帧图像弹孔积分图与前一帧图像的弹孔积分图进行配准并进行帧差，最终获取当前帧的新增弹孔。

2.根据权利要求1所述的一种基于视觉的弹孔检测方法，其特征在于所述S1中使用矩形框对打靶图像的弹孔进行标注；所述S23中的单尺度目标回归子网络，通过回归得到的坐标，确定疑似弹孔目标框(X,Y,W,H)，其中X，Y分别表示疑似弹孔目标框的中心坐标，W，H分别表示疑似弹孔目标框的宽和高；对疑似弹孔目标框提取纹理特征；将优选后的特征进行二分类，得到弹孔和非弹孔的二分类置信度，通过二分类结果得到的预测弹孔目标框与标注弹孔矩形框，进行深度融合网络的训练。

3.根据权利要求1所述的一种基于视觉的弹孔检测方法，其特征在于所述S23中，对得到的疑似弹孔区域进行扩充裁剪，对裁剪的疑似弹孔区域提取纹理特征，裁剪后的疑似弹孔区域的图像用f(x,y),[x∈(0,M-1)；y∈(0,N-1)]表示，其中M为该区域的像素宽度，N为该区域的像素高度，该区域的灰度共生矩阵用P(i,j,d,θ)表示，其中i表示灰度共生矩阵的x轴下标，j表示灰度共生矩阵的y轴下标，d表示两个像素的距离，θ表示两个像素的夹角；提取纹理特征，包括：提取纹理角二阶矩、纹理熵、对比度、均匀性、X轴梯度、Y轴梯度；

纹理角二阶矩表示为

纹理熵表示为

对比度表示为

均匀性用逆差分矩阵表示；

该区域的X轴梯度用f₅表示，Y轴梯度用f₆表示；

将提取的纹理特征拍扁到一维度并进行拼接，得到该区域的纹理特征矩阵f＝[f₁,f₂,f₃,f₄,f₅,f₆]。

4.根据权利要求1所述的一种基于视觉的弹孔检测方法，其特征在于所述S23中，采用GIOULoss作为弹孔区域的损失函数，采用交叉熵损失函数L来评价弹孔的分类：

其中，A和B分别表示预测的弹孔区域和真实的弹孔区域，C表示能包住A与B的最小矩形，N表示样本个数，y_i表示第i个样本的分类类别，p_i表示第i个样本的预测正确概率，最后总的损失函数为两个损失函数之和。

5.根据权利要求1所述的一种基于视觉的弹孔检测方法，其特征在于所述S2中，将打靶图像缩放至固定尺寸，并进行3通道灰度归一化，再将打靶图像的图像张量从RBG空间转换为RGBP空间，并将转换后的图像张量作为S21的输入。