[发明专利]一种基于多尺度卷积神经网络的手机表面缺陷精准识别方法

权利要求书

1.一种基于多尺度卷积神经网络的手机表面缺陷精准识别方法其特征在于，包括以下步骤：

(1)运行数据采集

采集系统是由工业相机和同步编码器共同搭建的，拍摄由流水线传送而来的手机屏幕，并将拍摄的图片通过千兆网卡传到与相机相连的计算机上，软件平台完成图像数据的接收；以软件平台接收的图像数据为研究对象，选用RGB颜色空间作为手机表面缺陷识别模型的输入变量，A_R(t)表示在t迭代时的红色通道像素矩阵，A_G(t)表示在t迭代时的绿色通道像素矩阵，A_B(t)表示在t迭代时的蓝色通道像素矩阵；

(2)运行基于边缘检测算法的废旧手机图像预处理方法

从废旧手机图像中获取A_R(t)，A_G(t)，A_B(t)三个输入变量，并对三个输入变量进行灰度化处理，设定灰度化调和参数分别为0.30，0.59和0.11，具体计算公式如下：

D(t)＝0.30A_R(t)+0.59A_G(t)+0.11A_B(t) (1)

其中，D(t)表示在t迭代时待识别手机表面图像A灰度化后的像素矩阵；t表示迭代次数；

为提取更加精确的边缘信息，利用索贝尔算子对灰度图像进行处理，具体计算公式如下：

U(t)＝E*D(t) (2)

其中，U(t)表示在t次迭代时该点边缘检测的灰度值；

其中，E表示索贝尔算子卷积因子，由一组3×3的矩阵组成；

(3)设计基于多尺度卷积神经网络的废旧手机表面缺陷识别模型

利用多尺度卷积神经网络搭建废旧手机表面缺陷识别模型，多尺度卷积神经网络包括输入层、特征提取层和输出层，特征提取层包含激活层、池化层和正则化层，该网络输入层的维度为416×416，特征提取层的维度为104×104，输出层的维度分别为52×52，26×26，13×13，13×13这个尺度输出用于检测小型目标，26×26为中型目标，52×52用于检测大型目标；基于多尺度卷积神经网络的废旧手机表面缺陷识别模型各层表示如下：

多尺度卷积神经网络输入层：输入层的计算公式如下：

G(t)＝U(t) (4)

其中，G(t)表示在t次迭代时输入层的输出；

多尺度卷积神经网络激活层：该层的输入为输入层的输出G(t)，该层输出表示为：

Q(t)＝f(ω(t)G(t)+β) (5)

其中，Q(t)表示在t次迭代时由G(t)通过非线性变换得到的特征矩阵；f(·)是激活函数；ω(t)表示在t次迭代时多尺度卷积神经网络结构的权值；β是多尺度卷积神经网络的输出偏置参数，β为介于0到1之前的常数；

多尺度卷积神经网络池化层：该层的输入为激活层的输出Q(t)，该层输出表示为：

其中，H(t)表示在t次迭代时Q(t)经过池化后的输出向量；Z₁表示水平池化步长；Z₂表示垂直池化步长；a表示平均池化后卷积特征图的水平方向的维度；b表示平均池化后卷积特征图的垂直方向的维度；m表示特征矩阵中的行数；n表示特征矩阵中的列数；

多尺度卷积神经网络正则化层：该层的输入为池化层的输出H(t)，该层输出表示为：

其中，Re_v(t)表示在t次迭代时矩阵H(t)中特征元素正则化后的输出向量；v表示模型输出的尺度，v＝1,2,3；||||₂表示二范数归一化操作；sign表示符号函数，当H(t)为正定矩阵，sign(H(t))＝1；当H(t)为非正定矩阵时，sign(H(t))＝0；当H(t)为半正定矩阵时，sign(H(t))＝-1；

多尺度卷积神经网络输出层：该层的输入为正则化层的输出Re_v(t)，该层输出表示为：

O(t)＝[Re₁(t)，Re₂(t)，Re₃(t)] (8)

其中，O(t)表示在t次迭代时多尺度卷积神经网络的输出矩阵；

多尺度卷积神经网络将输入图像分成S×S的网格，每个网格根据锚盒参数及特征图预测出候选框的位置及候选框内疑似目标对应的目标种类置信度，由锚盒参数获得目标候选框位置的方法如公式10-14所示：

其中，k_ij^x(t)表示在t次迭代时第i个方格第j个边框横坐标的预测值；q_x表示横向网格位置；α_x表示横向预测坐标偏移值；是逻辑回归函数；

其中，k_ij^y(t)表示在t次迭代时第i个方格第j个边框纵坐标的预测值；q_y表示纵向网格位置；α_y表示纵向预测坐标偏移值；

其中，k_ij^w(t)表示在t次迭代时第i个方格第j个的宽度预测值；p_w表示预设边框的宽；α_w表示宽度方向上的尺度缩放；

其中，k_ij^h(t)表示在t次迭代时第i个方格第j个的高度预测值；p_h表示预设边框的高；α_h表示高度方向上的尺度缩放；

卷积神经网络损失函数的具体公式如下：

L(t)＝L₁(t)+L₂(t)+L₃(t)+L₄(t) (13)

其中，L(t)表示在t次迭代时损失函数；

中心坐标误差损失函数L₁(t)的计算公式如下所示：

其中，S×S表示网格个数；B表示该网格中边界框的个数；I_ij^σ(t)表示在t次迭代时第i个方格第j个边框的锚定框控制函数，当锚定框含有目标时，I_ij^σ(t)＝0；当锚定框不含目标时，I_ij^σ(t)＝1；σ表示锚定框中是否含有目标；表示在t次迭代时第i个方格第j个边框横坐标的真实值；表示在t次迭代时第i个方格第j个边框纵坐标的真实值；

宽高坐标误差损失函数L₂(t)的计算公式如下所示：

其中，表示在t次迭代时第i个方格第j个边框宽度的真实值；表示在t次迭代时第i个方格第j个边框高度的真实值；

置信度误差损失函数L₃(t)的计算公式如下所示：

其中，I_ij^γ(t)表示在t次迭代时第i个方格第j个边框的边界框控制函数，当边界框含有目标时，I_ij^γ(t)＝0，当边界框不含目标时，I_ij^γ(t)＝1；γ表示边界框中是否含有目标；C_ij(t)表示在t次迭代时第i个方格第j个边框置信度的预测值；表示在t次迭代时第i个方格第j个边框置信度的真实值；当边界框负责预测对象时，当边界框不负责预测对象时，

分类误差损失函数L₄(t)的计算公式如下所示：

其中，P_ij(t)表示在t次迭代时第i个方格第j个边框的预测类别概率；表示在t次迭代时第i个方格第j个边框的真实类别概率；C表示类别集合；log为取对数符号；

利用梯度下降算法训练卷积神经网络模型参数；更新表达式如下所示：

其中，ω(t+1)表示在t+1次迭代时卷积神经网络层中的权重；ω(t)表示在t次迭代时卷积神经网络层中的权重，ω(t)的初始值ω(1)各元素为介于0到1之前的常数；ρ为梯度下降算法的学习率，在区间[0.01,0.1]中随机取值；

(4)废旧手机表面缺陷分类决策

利用训练好的多尺度卷积神经网络的废旧手机表面缺陷识别模型，使用待识别手机表面图像像素矩阵A作为模型的输入变量，得到识别模型的输出值，使用Logistic分类器进行缺陷分类决策，即根据待测样本所属类别P_ij(t)预测值进行判断；当预测值P_ij(t)0.5时，表示手机的缺陷类别为划痕；当P_ij(t)≥0.5时，表示手机的缺陷类别为碎裂。