[发明专利]一种基于双流神经网络模型的钢板表面缺陷分类方法

权利要求书

1.一种基于双流神经网络模型的钢板表面缺陷分类方法，其特征在于，包括如下步骤：

S10建立钢板表面缺陷标准图库；

S20待检测图片缺陷分类，将待检测图片导入双流神经网络获得全局优先值以及局部特征值，综合所述全局优先值以及所述局部特征值确定每张所述待检测图片的缺陷类别；以及

S30待检测图片缺陷位置判定，使用YOLO网络确定分类结果中的缺陷类别所在位置，其中所述YOLO网络中的两个残差网络模块替换为两个特征复用网络模块；

所述步骤S20包括如下步骤：

S21将待检测图片导入双流神经网络，所述双流神经网络提取图像特征，并将提取后的所述图像特征按一定权重进行分配，得到两个流向；

S22一个所述图像特征的权重进入全局优先网络，从整个图像中捕获全局特征先验，先在大方向预测全局缺陷类别，最终通过全局优先网络得到全局优先值y₁；

S23另一个所述图像特征的权重进入空间金字塔卷积层，首先空间金字塔卷积层提取多尺度的实例图像特征，再通过一个全连接层对每个生成的实例特征映射，最后通过一个空间池化层选择映射内的相关区域进行相应的所述全局缺陷类别的局部缺陷类别预测，得到局部特征值y₂；以及

S24使用聚合层聚合所述待检测图片的所述全局优先值以及所述局部特征值，综合两者得到缺陷类别预测结果。

2.根据权利要求1所述的基于双流神经网络模型的钢板表面缺陷分类方法，其特征在于，所述步骤S10包括如下步骤：

S11所述缺陷标准图库中每张图片中包含一种典型缺陷，并使用霍夫变换对所述图片进行校正、裁剪使得所述图片大小为200*200dpi；以及

S12使用labelImg软件对图像进行标注，使用矩形真实框标注出图像中缺陷的位置，并记录矩形框左上角(x_L,y_L)和右下角(x_R,y_R)的坐标信息，在标注过程中采用密集标注法，即对每个单独的缺陷进行标注。

3.根据权利要求1所述的基于双流神经网络模型的钢板表面缺陷分类方法，其特征在于，所述全局优先网络基于VGG-16network架构，包含一个2×2的池化层和3个全连接层FCa、FCb以及FCg，在所述FCa与所述FCg之间设置旁路连接，使得FCa绕过FCb直接与FCg相连。

4.根据权利要求1所述的基于双流神经网络模型的钢板表面缺陷分类方法，其特征在于，所述全局缺陷类别包括面状缺陷以及线状缺陷；所述面状缺陷的局部缺陷类别包括：斑块(Pa)、表面麻点(PS)以及夹杂(In)中的至少一种；所述线状缺陷的局部缺陷类别包括：网纹(Cr)以及划伤(Sc)中的至少一种。

5.根据权利要求1所述的基于双流神经网络模型的钢板表面缺陷分类方法，其特征在于，将YOLO网络中的两个残差网络模块替换为两个特征复用网络模块使用，每个所述特征复用网络模块包含3个卷积层，每一个卷积层可以得到所有之前的卷积层的输出作为输入，相邻的卷积层之间通过卷积层和池化层相连接。

6.根据权利要求5所述的基于双流神经网络模型的钢板表面缺陷分类方法，其特征在于，所述步骤S30包括如下步骤：

S31将待检测钢板图像导入基于分类优先的YOLO网络，采用双线性插值法将所述待检测钢板图像大小尺寸统一为448×448dpi；

S32对调整大小后的所述待检测钢板图像进行归一化处理，将所述待检测钢板图像的像素值取值范围由[0,255]，转化为[0,1]，获得第一缺陷分类图；归一化公式为：

其中，x_i表示图像像素点值，min(x)、max(x)表示图像像素的最大与最小值；以及

S33将所述第一缺陷分类图划分为S×S个网格，如果目标缺陷的中心落入网格单元，则该网格单元负责检测对象，获得目标缺陷的位置检测结果。