[发明专利]基于嵌入余弦自注意力模块的光伏电池外观缺陷检测方法

权利要求书

1.一种基于嵌入余弦自注意力模块的光伏电池外观缺陷检测方法，该方法用于光伏电池外观缺陷检测，包括下述步骤：

第一步：利用工业相机采集光伏电池图像，作为缺陷检测的原始图像；原始图像包括无缺陷的图像和含有待检测缺陷的图像；

第二步：对采集到的所有含有待检测缺陷的原始图像进行标注形成标签，并将所有的标签分为不同的数据集；

第三步：通过嵌入余弦自注意力模块的yolov3网络对缺陷图像进行特征提取；

第四步：首先设置模型训练参数和初始权重，然后读取训练集中的图像并将训练图像缩放至608*608像素，缩放后的图像通过嵌入余弦自注意力模块的yolov3网络进行特征提取，并利用K-means聚类方法对训练图像自动生成锚框，以锚框的尺寸作为先验框通过边框回归预测得到边界框，然后使用logistic分类器对边界框进行分类，获得每个边界框对应的缺陷类别分类概率；再通过非极大值抑制法对所有边界框的缺陷类别分类概率进行排序，确定每个边界框对应的缺陷类别，得到预测值；然后通过损失函数计算预测值和真实值之间的训练损失；

再根据训练损失的变化来动态调整学习率与迭代次数，训练分为两个阶段，第一阶段是训练开始的前500个周期，初始学习率固定为0.001；第二阶段是指50个周期之后的训练周期，初始学习率设置为0.0001，当训练损失趋于稳定的时候，学习率依次变为原来的十分之一，设置最终学习率为0.00001，直到学习率减小到最终学习率0.00001时训练停止；

第五步：将测试用的图像缩放至608*608像素并输入嵌入余弦自注意力模块的yolov3网络进行特征提取中进行检测。

2.根据权利要求1所述的基于嵌入余弦自注意力模块的光伏电池外观缺陷检测方法，其特征在于，所述嵌入余弦自注意力模块的yolov3网络中的余弦自注意力模块用于精细化提取待检测缺陷特征；

所述的余弦自注意力模块具体过程是：特征x经过reshape操作改变维度，再经过转置操作获得变换后的x，变换后的x的大小为WH*C，同时特征x经过reshape操作得到重塑后的特征g(x)，变换后的x与重塑后的特征g(x)特征相乘，计算出余弦相似度映射f，得到相似度图；而后利用sofmax函数对相似度图进行归一化，形成注意图，将注意图与重塑后的特征相乘；其中，N＝WH表示之前特征图中的总位置数，W为特征图的宽，H为特征图的高；

最后，将注意图与重塑后的特征相乘的结果再经过reshape操作被再次重塑为特征再次重塑特征与输入特征x进行逐元素求和运算得到最终输出特征图

3.根据权利要求1所述的基于嵌入余弦自注意力模块的光伏电池外观缺陷检测方法，其特征在于，该检测方法具体包括以下步骤：

第一步：获取图像

利用工业相机采光伏电池图像，作为缺陷检测的原始图像；原始图像包括无缺陷的图像和含有待检测缺陷的图像；含有待检测缺陷的图像必须包含所有待检测缺陷种类；

第二步：制作数据集

制作yolov3网络的数据集，具体以Pascal VOC2007的标准格式为模板，主要包含以下几个步骤：

2-1、建立数据集存放文件夹；

新建VOCdevkit文件夹，在VOCdevkit文件夹下VOC2007文件夹；在VOC2007文件夹下分别建立Annotations文件夹、JPEGImages文件夹以及ImageSets文件夹三个文件夹，在ImageSets文件夹下建立Main文件夹；在Main文件夹下建立train.txt、val.txt、test.txt以及trainval.txt四个文件，分别用于存放训练集、验证集、测试集和训练验证集；Annotations文件夹用于存放所有标注后的图像的xml文件，JPEGImages文件夹用于存放分割后的小图像；

2-2、切割图像；

对采集到的所有含有待检测缺陷的原始图像利用滑动分割进行切割，将每张含有待检测缺陷的原始图像均匀切割成大小相等的16张小图像，并将所有的小图像保存在JPEGImages文件夹中；对原始图像进行分割，保留待检测缺陷的原始像素；

2-3、标注图像；

使用软件Labelimg对步骤2-2中所有含有待检测缺陷的小图像进行手动标定，将其中的缺陷部分标注出来；然后每张标注后的图像都生成一个包含有图片名称、缺陷种类和缺陷位置坐标的xml文件，一个xml文件即为一个标签，并将所有的xml文件保存在Annotations文件夹中；

2-4、对数据集进行分组

将所有的xml文件按照比例分成VOC2007数据集中的训练集train.txt、验证集val.txt、训练验证集trainval.txt和测试集test.txt；首先提取Annotations文件夹中所有的xml文件，然后将所有的xml文件按照4:1的比例分为两组，分别作为训练集和验证集，训练验证集为训练集和验证集的总和，并将各个数据集对应的xml文件的文件名保存至相应的txt文件中；

第三步：网络模型设计

选取darknet-53网络作为特征提取网络，特征提取网络主要分为五个阶段，每个阶段包括一个或多个卷积块层，每个卷积块层均为两个卷积层和一个残差连接；其中，第一阶段包括一个卷积块层，第二阶段包含两个卷积块层，第三、四阶段均包含八个卷积块层，第五阶段包含四个卷积块层；除第五阶段外，其余四个阶段还包括一个位于所有卷积块层之后的用于改变特征图尺寸的下采样卷积层；

输入的目标图像被逐层计算提取特征，输入的目标图像大小为608*608*3，其中宽高都是608，通道数为3，依次经过一个卷积核大小为3*3、步长为1、通道数为32的卷积层和一个卷积核大小为3*3、步长为2、通道数为64的下采样层后得到第一阶段的输入特征，第一阶段输入特征的尺寸为304*304*64；第一阶段的输入特征依次经过一个卷积核大小为1*1、步长为1、通道数为32和一个卷积核大小为3*3、步长为1、通道数为64的两个卷积层、一个残差连接以及一个卷积核大小为3*3、步长为2、通道数为128的下采样层后得到第一阶段的输出特征，其尺寸为152*152*128；第一阶段的输出特征依次经过卷积核大小分别为1*1、3*3，步长均为1，通道数分别为64、128的两个卷积和一个残差连接后得到第二阶段第一卷积块层的输出特征；第二阶段第一卷积块层的输出特征重复第一阶段输出特征的操作后得到第二阶段第二卷积块层的输出特征，第二阶段第二卷积块层的输出特征经过一个卷积核大小为3*3、步长为2、通道数为256的下采样层后得到第二阶段的输出特征，其尺寸为76*76*256；第二阶段的输出特征依次经过卷积核大小分别为1*1、3*3，步长均为1，通道数分别为128、256的两次卷积和一个残差连接后得到第三阶段第一卷积块层的输出特征，第三阶段第一卷积块层的输出特征重复第二阶段输出特征的操作，重复七次后得到第三阶段第八卷积块层的输出特征，第三阶段第八卷积块层的输出特征经过一个卷积核大小为3*3、步长为2、通道数为512的下采样层后得到第三阶段的输出特征，其尺寸为38*38*512；第三阶段的输出特征依次经过卷积核大小分别为1*1、3*3，步长均为1，通道数分别为256、512的两次卷积和一个残差连接后得到第四阶段第一卷积块层的输出特征，第四阶段第一卷积块层的输出特征重复第三阶段输出特征的操作，重复七次后得到第四阶段第八卷积块层的输出特征，第四阶段第八卷积块层的输出特征经过一个卷积核大小为3*3、步长为2、通道数为1024的下采样层后得到第四阶段的输出特征；第四阶段的输出特征依次经过卷积核大小分别为1*1、3*3，步长均为1，通道数分别为512、1024的两次卷积核一个残差连接后得到第五阶段第一卷积块层的输出特征，第五阶段第一卷积块层的输出特征重复第四阶段输出特征的操作，重复三次后得到第五阶段的输出特征，其尺寸为19*19*1024；

特征融合网络设计：将特征提取网络第五阶段输出的特征依次经过卷积核大小分别为1*1、3*3、1*1、3*3、1*1，步长均为1的五次卷积后生成特征F1，特征F1依次通过卷积核大小分别为3*3、1*1，步长均为1的两个卷积层后得到特征y1，特征y1作为检测层的第一层；

将特征F1通过一个卷积核大小为1*1、步长为1的卷积层，然后再通过一次上采样操作，将特征放到到与特征提取网络第四阶段输出的特征同等大小，进行通道维度的特征拼接操作。将拼接后的特征经过余弦自注意力模块后再依次经过卷积核大小分别为1*1、3*3、1*1、3*3、1*1，步长均为1的五次卷积后生成特征F2，特征F2依次经过卷积核大小分别为3*3、1*1，步长均为1的两次卷积后得到特征y2，特征y2作为检测层的第二层；

将特征F2通过一个卷积核大小为1*1、步长为1的卷积层，然后再通过一次上采样操作，将特征放到到与特征提取网络第三阶段输出的特征同等大小，进行通道维度的特征拼接操作；将拼接后的特征经过余弦自注意力模块后再依次经过卷积核大小分别为1*1、3*3、1*1、3*3、1*1，步长均为1的五次卷积后生成特征F3，特征F3依次经过卷积核大小分别为3*3、1*1，步长均为1的两次卷积后得到特征y3，特征y3作为检测层的第三层；

至此完成嵌入余弦自注意力模块的yolov3网络模型的搭建。

第四步：模型训练

4-1、设置模型训练参数

根据训练集中待检测缺陷的种类数和待检测缺陷名称修改改进的yolov3网络的类别数和类别标签，若训练集中一共4种待检测缺陷，改进的yolov3网络的类别数为5，包括背景和4种待检测缺陷类别；根据待检测缺陷名称对应修改改进的yolov3网络的类别标签；

4-2、设置模型初始权重

为了加快收敛速度减少训练时间，防止过拟合，将ImageNet数据集上预先训练得到的yolov3模型文件，作为改进的yolov3网络的初始化权重；

4-3、计算训练损失

根据网络模型输出的特征层数量确定锚框数量，利用K-means聚类方法自动生成锚框，并且把锚框的尺寸保存下来；读取训练集中的图像，读入图像数据，包括图像名称、缺陷类别和缺陷位置坐标信息；将训练图像缩放至608*608像素，缩放后的图像通过特征提取网络进行特征提取，以锚框的尺寸作为先验框通过边框回归预测得到边界框，然后使用logistic分类器对边界框进行分类，获得每个边界框对应的缺陷类别分类概率；再通过非极大值抑制法对所有边界框的缺陷类别分类概率进行排序，确定每个边界框对应的缺陷类别，得到预测值，预测值包括缺陷类别和缺陷位置信息，缺陷位置信息用于框出缺陷所在的位置；非极大抑制阈值为0.5；然后通过损失函数计算预测值和真实值之间的训练损失；

4-4、训练阶段

根据训练损失的变化来动态调整学习率与迭代次数，以更新整个网络的参数；训练分为两个阶段，第一阶段是训练开始的前50个周期，初始学习率固定为0.001，以加快收敛；第二阶段是指50个周期之后的训练周期，初始学习率设置为0.0001，当训练损失趋于稳定的时候，学习率依次变为原来的十分之一，设置最终学习率为0.00001，直到学习率减小到最终学习率0.00001时训练停止；

第五步：在线测试

在线测试在电脑CPU为酷睿i7系列，内存为32GB，显卡为GTX1080显卡，在Windows10的平台下完成，基于keras程序实现；首先将测试用的图像，分割成16张小图像，再把小图像缩放至608*608像素并输入yolov3网络中进行检测；所有的16张小图像检测完成后，再把所有的小图像检测结果拼接到一起，拼接成一张完整的大图像输出；单张大图像检测时间为0.15s，每张小图像的缺陷会在图片上框出来，有不同缺陷的话就会把所有的缺陷都框出来，只要有缺陷认为这个锂电池为缺陷电池，16张小图像最后要拼接到一起，拼接成一张完整的大图像，位置信息预测是用来框出缺陷所在的位置。