[发明专利]基于Faster R-CNN的大型复杂结构件表面多尺寸多类别缺陷智能检测方法及系统

权利要求书

1.基于Faster R-CNN的大型复杂结构件表面多尺寸多类别缺陷智能检测方法，其特征在于：包括以下步骤：

(1)获取大型复杂结构件表面缺陷区域的图像数据；

(2)标注采集到的图像中的缺陷的位置和类别信息，生成用于模型训练的标注文件；

(3)将采集到的图像数据进行图像变换处理，根据图像变换处理生成包含标签信息文件；

(4)基于Resnet提取图像的特征图形成不同的特征层；

(5)将不同的特征层进行特征融合，在图像的特征空间中构造金字塔，利用低层特征和高层特征分别在不同的特征层上进行预测；

(6)根据提取的特征得到缺陷位置对缺陷进行粗定位；

(7)根据缺陷位置将提取的缺陷输入到分类和回归网络进行缺陷的分类以及位置的精调，最终得到大型复杂结构件表面缺陷类别和位置。

2.如权利要求1所述的基于Faster R-CNN的大型复杂结构件表面多尺寸多类别缺陷智能检测方法，其特征在于：所述缺陷位置通过标注边界框的左上点和右下点像素坐标进行表征，所述缺陷类别和位置信息保存在.xml文件中。

3.如权利要求1所述的基于Faster R-CNN的大型复杂结构件表面多尺寸多类别缺陷智能检测方法，其特征在于：所述图像变换处理是对原图像进行增强扩充处理，所述增强扩充处理包括采用仿射变化、运动模糊、光照变换中任一种或多种组合的方式。

4.如权利要求1所述的基于Faster R-CNN的大型复杂结构件表面多尺寸多类别缺陷智能检测方法，其特征在于：所述基于Resnet提取图像的特征的具体步骤如下：

用ResNet-50网络先对大型复杂结构件图像进行特征提取，得到多个阶段输出的第一特征图，根据大型复杂结构件图像确定对应的分辨率；确定特征提取网络的卷积核，根据卷积核进行下采样操作，并以全局平均池化层为全连接层，在为每两个全连接层增加残差边，形成残差结构。

5.如权利要求1所述的基于Faster R-CNN的大型复杂结构件表面多尺寸多类别缺陷智能检测方法，其特征在于：所述特征融合的具体步骤如下：

将特征图分别输入特征金字塔网络FPN，通过上采样反卷积操作将较深层的特征图放大到和较浅层的特征图一样的尺寸；

将自底向上生成的特征图通过卷积运算降低通道数；

通过横向连接将上采样反卷积操作的结果和卷积运算后具有相同通道数的特征图进行逐元素相加，实现低级特征和高级语义特征的融合。

6.如权利要求1所述的基于Faster R-CNN的大型复杂结构件表面多尺寸多类别缺陷智能检测方法，其特征在于：所述缺陷粗定位的具体步骤如下：

锚框生成：在特征图上生成锚点，并映射到原图的对应位置，然后以原图上的锚点为中心，在原图像中生成不同的长宽比和尺度的锚框；

锚框分类：在每个特征点上分类是否属于前景和背景并对锚框位置参数进行回归，分类采用先将特征图进行卷积，进一步提取特征，然后将通道数映射到对应的类别；最后计算概率；

位置回归：根据通道数映射对应锚框的位置与大小，回归的参数分别是矩形框中心点与锚框中心点横、纵坐标的位移以及矩形框长宽与锚框长宽的比例；

锚框后处理：将回归得到的候选区域的宽、高限制在输入图像尺寸范围内；

将剩余的候选区域按前景概率排序，接着使用非极大值抑制剔除掉重复的候选区域，最后从剔除后的结果中保留存在缺陷的候选区域。