[发明专利]一种基于红外图像的太阳能板缺陷检测方法

权利要求书

1.一种基于红外图像的太阳能板缺陷检测方法，其特征在于包括下述步骤：

S1，基于深度学习的背景分割方法；

利用无人机获取原始红外图像，如果某场景的红外图像数量小于其他场景红外图像数量的1/10，对原始红外图像进行数据处理，并扩充数据集；

扩充数据集并数据处理的步骤为：

采用图像编辑软件对红外图像中太阳能板所在区域涂成红色，太阳能板所在区域含太阳能板间缝隙，再将涂成红色的图像处理为二值图像，其中太阳能板区域灰度值为1；其他区域视为背景，灰度值为0，将该二值图像作为深度学习网络的训练标签；

将扩充后的红外图像和训练标签按留出法的任意数据集划分方法划分为训练集、验证集、测试集，使用深度学习框架搭建Segnet深度学习网络，采用深度学习框架自带的训练函数训练背景分割模型，得到训练好的背景分割模型，训练好的模型将红外图像每个像素标注为前景或背景；

S2，结合线段检测和角点检测的太阳能板目标检测；

背景分割模型的输出结果为标签图像，对原始红外图像和标签图像进行如下预处理：

对标签图像进行腐蚀膨胀，在标签图像中给各个太阳能板区域的像素设置一个编号，相同连通块的像素使用相同编号，不同连通块的像素使用不同编号，然后以标签图像中的分类结果为依据，将原始红外图像中背景位置的像素的灰度值设置为0，再对原始红外图像利用高斯模糊的方法进行低通滤波以降低噪声，为了防止太阳能板与背景混淆，利用公式(1)将低通滤波后的图像的灰度值归一化到(lowGray，255)区间，来提高图像对比度：

其中，gray_x，y为归一化后的坐标(x，y)处的灰度值，p_x，y为原图坐标(x，y)处的灰度值，lowGray和highGray为需处理区间的上下阈值，maxGray和minGray为此区间的灰度值极值；

对归一化得到的图像依次做如下处理：

利用Canny边缘检测算法提取归一化图像的边缘信息，利用Harris算法提取归一化图像的角点信息，利用Hough变换算法提取canny边缘检测结果的图像线段信息，根据坐标遵循就近原则将线段和角点分配给各个连通块；

太阳能板的形状为平行四边形，一个阵列内的所有太阳能板的边缘沿横竖两个方向分布，用图像坐标系中与x轴的夹角定义两个方向分别为θ₁和θ₂，作为最能代表边缘整体走向的两个“基准角”供后续检测使用；

对于每个连通块，通过公式(2)遍历θ₁和θ₂，使得总损失Loss(θ₁，θ₂)最小：

其中，θ₁和θ₂为横竖两个方向的基准角，即太阳能阵列的横竖两个边缘方向，Loss为基准角θ₁和θ₂的评估函数，loss_m为第m条线段与基准角的差，n为Hough变换算法提取出的线段的数量，arc_m为第m条线段的倾斜角；

根据基准角θ₁、θ₂和连通块的重心求横竖两个方向的基准线，用一般式Ax+By+C＝0表示：

其中，(x_c，y_c)为连通块的重心，d＝1，2，θ_d为式(2)求得的基准角θ₁、θ₂；

以线段角度与两个基准角之差的大小关系为依据，将线段分为两组：

其中，class_m为线段的分类编号；

以线段与基准线交点的x坐标由小到大对两组线段分别排序；

对线段进行赋权，权值用来衡量线段贴合边缘的程度，公式如下：

其中，ε表示阶跃函数，阈值maxDis用于衡量角点和线段位置是否足够小，阈值maxDis取20，第m条线段的一般式为a_mx+b_my+c_m＝0，(x_q，y_q)为第q个角点的坐标，M为该连通块的角点数量，weight_m为第m条线段的权值；

设置合并线段的阈值L_merge为20，将坐标距离在阈值内的一组线段按式(6)加权平均合并为直线：

其中，合并成的直线一般式为Ax+By+C＝0，n_w为每一组需合并的线段的数量；

然后，在同组相交或距离小于阈值L_merge的直线中删除与基准角的角度差绝对值大于15度的直线，再利用两组直线将太阳能板区域划分为网格状，保存每个网格的四个顶点坐标；

S3，基于图像处理和数理统计的缺陷检测；

S3.1，首先利用S2求出的网格顶点坐标，调用python函数库imutils中的four_point_transform函数，利用透射变换方法将每个网格转换成width*length的矩形区域；

S3.2，全局检测；

对所有太阳能板进行如下全局检测：

μ_s＞μ+3σ     (8)

其中，ε表示为阶跃函数，μ、σ为太阳能板阵列的灰度值均值和标准差，μ_s、σ_s为第s块太阳能板的灰度值均值和标准差，maxAvr为最大面板间均值差阈值，maxVar为最大面板灰度值方差阈值；满足式(7)或式(8)或式(9)之一的太阳能板有热模块，向用户反馈第s块太阳能板的位置信息；

S3.3，局部检测；

与全局检测平行的，遍历整块太阳能板的像素点，对当前处理的像素点坐标(i_now,j_now)进行如下局部检测：

其中，width与透射变换结果一致，a为以每个像素点为中心截取的正方形边长，(x_k，y_k)用于表示从当前像素点向上下左右四个方向移动的单位向量，maxSize_hotpot为热点的最大像素尺寸阈值，maxDiffer为热点与其他部分的最大灰度差阈值，满足式(10)和式(11)的太阳能板有热点，向用户反馈故障板位置和热点所在位置。

2.根据权利要求1所述的基于红外图像的太阳能板缺陷检测方法，其特征在于：

所述步骤S1中，利用翻转、旋转和裁剪方法中的一种或几种对原始红外图像进行数据处理，并扩充数据集，扩充数据集并数据处理的步骤为：

采用图像编辑软件对红外图像中太阳能板所在区域涂成红色，太阳能板所在区域含太阳能板间缝隙，再将涂成红色的图像处理为二值图像，其中太阳能板区域灰度值为1；其他区域视为背景，灰度值为0，将该二值图像作为深度学习网络的训练标签。