[发明专利]一种基于改进YOLOV5的深度学习晶圆焊点检测方法

权利要求书

1.一种基于改进YOLOV5的深度学习晶圆焊点检测方法，其特征在于，包括如下步骤：

1)制作晶圆焊点数据集：采集晶圆焊点图像，对采集的晶圆焊点图像进行预处理，然后对数据集进行标注，对需要对准的焊点和不需要对准的焊点采用矩形标注即将需要对准的焊点命名为Rig孔、不需要对准的焊点命名为Wro孔，最后制作出包含1464张晶圆焊点图像的晶圆焊点数据集，并以9：1的比例将数据集分为训练集和验证集；

2)构造注意力机制模块CCANET：包括：

2.1)首先采用一个由1*1卷积、Bathnorm模块和Sigmoid函数组成的过滤器模块，得到特征图X；

2.2)然后采用一个三支路结构：

2.2.1)第一支路特征图X连接颜色注意力机制模块，输出特征图X₁如公式(1)所示：

X₁＝X*(σ(MLP(Resize(AvgPool(X)))+σ(MLP(Resize(AvgPool7(X)))+σ(MLP(Resize(MaxPool(X)))) (1)，

其中MLP为多层感知机，Resize为特征图尺寸优化，AvgPool为特征图尺寸1*1的全局平均池化，AvgPool7为特征图尺寸7*7的全局平均池化，MaxPool为特征图尺寸1*1的全局最大池化，σ为Sigmoid激活函数；

2.2.2)第二支路特征图X与第一支路的输出特征图X₁进行通道相加，输出特征图X₂，如公式(2)所示：

2.2.3)将步骤2.2.2)输出的特征图X₂输入位置注意力机制模块,输出特征图X₃，如公式(3)所示：

X₃＝M_s(X₂) (3)，

其中M_s为位置注意力机制的操作；

2.2.4)第三支路特征图X与特征图X₃相乘得到特征图X₄，如公式(4)所示：

2.3)最后输出特征图X₄，完成注意力机制模块CCANET；

3)构造融入注意力机制的YOLOV5网络：包括：

3.1)引入注意力机制，原始YOLOV5网络由特征提取层、骨干层和检测层三部分构成，对原始网络的特征提取层和骨干层进行优化：首先在YOLOV5网络中的特征提取层中的第一、第二、第三个C3模块和SPP模块后面，分别加入一个步骤2)构建的CCANET模块，然后，将每个CCANET模块输出的特征图与原始YOLOV5网络的骨干层输出的特征图进行通道相加，得到一个新的特征提取层；

3.2)将每个CCANET模块的输出通道数进行自适应的缩放，通道数自适应缩放比例σ为1/2，通道数缩放表达式如公式(5)所示：

X_C＝Y*σ (5)，

其中，X_C为输出通道数，Y为输入通道数；

4)引入Ghost模块：对步骤3)构成的融入注意力机制的YOLOV5网络进行进一步的优化,引入Ghost模块：将网络骨干层中的三个特征图拼接模块Concat后面的第一个基础卷积模块Conv替换为Ghost模块，得到最终的改进YOLOV5卷积神经网络；

5)训练改进YOLOV5网络：首先，采用步骤4)获得的改进YOLOV5网络训练步骤1)所制作的晶圆焊点数据集，得到晶圆焊点检测网络，然后，将待测试的晶圆焊点图片或晶圆焊点视频输入到晶圆焊点检测网络中，得到晶圆焊点的位置与数量，然后对晶圆焊点检测网络的精度、网络模型参数进行评价。

2.根据权利要求1所述的基于改进YOLOV5的深度学习晶圆焊点检测方法，其特征在于，步骤1)中所述的预处理为图像裁剪和图像增强，其中，图像裁剪将6112*3440的原始图片裁剪为2030*1500的只包含晶圆焊点的图片，同时将小目标的晶圆焊点扩充为中目标；

图像增强是对不同光照强度下的晶圆焊点图片进行图像增强即将亮度较暗的焊点图片进行亮度增强。