[发明专利]一种基于深度学习的电路板元器件缺陷检测方法

权利要求书

1.一种基于深度学习的电路板元器件缺陷检测方法，其特征在于，包括以下步骤：

1)获取电路板检测生产线的摄像机拍摄的电路板图像，将所有电路板图像按比例划分原始训练集和原始测试集，并进行掩膜标注；

2)对原始训练集进行重采样，在检测目标附近剪裁一部分图像，并重新生成对应的标签，作为最终的训练集，再对改进的SOLOv2网络进行训练，其中，该SOLOv2网络的改进是在主干网络中使用深度可分离卷积替代传统卷积，在网络输出层使用多个空洞卷积替代单一的传统卷积；

训练集的重采样方法如下：

2.1)统计出原始训练集中所有元器件的外接框，假设第K个元器件的掩膜标签为{(x_i,y_i),i∈[0,N_K]}，N_K为元器件K掩膜点的数量，(x_i,y_i)为第i个掩膜点的横坐标和纵坐标，则该元器件角坐标为其中，为第K个元器件左上角的横坐标和纵坐标，为第K个元器件右下角的横坐标和纵坐标，min({·})、max({·})分别为集合{·}的最小值和最大值，该元器件的外接框为(x^K,y^K,w^K,h^K)为第K个元器件外接框左上角的横坐标和纵坐标及外接框的宽和高；

2.2)根据所有元器件的外接框生成新的训练集图像，寻找所有元器件的外接框的最大边长L_max＝max(max({(w^j)}),max({(h^j)})),j∈[1,M]，M为所有的元器件数目，w^j、h^j为第j个元器件外接框的宽和高，执行操作：选定裁剪目标框的宽高L＝random(L_max,2L_max)，random()指随机取范围内的正整数，裁剪目标框左上角横坐标为纵坐标为由裁剪目标框从原图中剪切出图像PIC，每个元器件多次执行该操作，从而裁剪出大量图像以作为训练集图像；

2.3)针对裁剪得到的训练集图像生成对应的标签，对于落入PIC内的元器件K，计算元器件K在PIC内的部分占元器件K本身大小的比例为元器件K在PIC内的面积，area^K为元器件K自身的面积，其中area^K＝w^K×h^K，若小于阈值0.4，则将该元器件标记为背景，舍去其标签，否则，将其掩膜标签设置为{(x_i-x_start,y_i-y_start),i∈[0,N_K]}；

所述改进的SOLOv2网络的具体改进如下：

将主干网络中除第一层卷积之外的所有卷积替换为深度可分离卷积降低网络参数量，以提高前向推导的速度，提高实时性能，深度可分离卷积将传统的单个卷积核分为两个独立的卷积核：分离卷积和逐点卷积；分离卷积将特征图不同通道分离开分别进行卷积操作，逐点卷积对不同特征图上相同像素点进行卷积操作，提取不同特征图之间的关系；使用的深度可分离卷积结构包含分离卷积层、BN层、Mish激活函数、逐点卷积层、BN层和Mish激活函数；

在网络输出层使用多个空洞卷积替换单一的传统卷积，在增加少量参数的情况下，使预测结果中的每个位置充分综合全局信息，提高分割精度，空洞卷积与传统卷积相比，参数量相同，但感受野更大，不同扩张系数的空洞卷积组合能够提取特征图中的多尺度信息，改进后的网络输出层包含多个不同扩张系数的3×3空洞卷积、BN层、Mish激活函数、concat层和逐点卷积层，其中，每个空洞卷积各接一个BN层和Mish激活函数，负责提取一个尺度范围的特征；concat层为特征融合层，将不同空洞卷积生成的特征图按通道拼接；再通过逐点卷积层将包含不同尺度信息的特征图进行融合得到单通道的语义分割图；

3)将待检测图像分成多个区域块，按批次送入训练好的改进的SOLOv2网络以对图像中的各类元器件及电路板底板进行分割，获取各类元器件及电路板底板掩膜预测结果；

4)将待测图像所有区域块的各类元器件及电路板底板掩膜预测结果进行融合；

5)通过融合后的电路板底板掩膜预测结果对各类元器件及电路板底板的掩膜预测结果进行矫正使其与模板电路板方向和尺寸相同，具体如下：

首先，计算出电路板底板掩膜预测结果的最小外接矩形，利用该矩形四个角点结合模板电路板尺寸对各类元器件及电路板底板掩膜预测结果进行仿射变换矫正，得到与模板电路板尺寸完全一致的掩膜预测结果，使得各元器件在电路板中的相对位置更加精确；

6)依据矫正后的掩膜预测结果计算出各个元器件的实际中心位置及偏转方向，具体如下：

从矫正后的掩膜预测结果中提取出各元器件的掩膜预测结果，从而获得各个元器件的中心并基于Hu不变矩计算其主轴方向，即元器件的偏移方向，并记录下各个元器件的中心位置及偏转角度；

7)将各个元器件的实际中心位置及偏转方向与其在模板电路板中的设定值对比，判断出该处是否存在缺件、偏移缺陷，并获得位置偏移量和角度偏移量，具有如下：

根据所有元器件的中心位置及偏转角度进行缺陷判断，将所有元器件按类别分为不同的组别，每个组别内使用匈牙利匹配算法，提取出的元器件位置与元器件设定位置之间相似度度量标准，即匈牙利匹配的优化矩阵如下式所示：

为第R类元器件中，第s个提取出的元器件位置与第t个元器件设定位置之间的距离，为第R类元器件中，第s个提取出的元器件位置与第t个元器件设定位置之间的相似度，所有元素组成匈牙利优化矩阵，Np^R为提取出的R类元器件总数，Ns^R为模板电路板中R类元器件总数，为第R类元器件中，第s个提取出的元器件位置坐标，为第R类元器件中，第t个元器件设定位置坐标；

相似度随着匹配双方距离越远变的越低，最终实现最优匹配，匹配完成后，逐个检索各元器件设定位置，若提取出的元器件没有与其配对或配对成功但二者之间的中心位置偏移量大于第一阈值则认为该处存在缺件缺陷；若小于第一阈值而大于第二阈值，则认为该处存在偏移缺陷；若该处方向偏移量大于第三阈值，则认为该处存在偏移缺陷；若该处中心位置偏移量小于第二阈值且方向偏移量小于第三阈值，则认为改处没有缺陷，以此判断该元器件设定位置处是否存在缺陷，并获得精确的中心位置偏移量和角度偏移量。