[发明专利]基于注意力神经网络的无人机光伏故障诊断及定位方法

权利要求书

1.基于注意力神经网络的无人机光伏故障诊断及定位方法，其特征在于，包括如下步骤：

(1)获取巡检无人机航拍的光伏组件红外图片，读取无人机实时位置信息和姿态数据。其中无人机的飞行高度为h，GPS坐标为(x_D，y_D)，相机视野角γ，俯仰角θ_ZD，航向角ψ_ZD。

(2)基于注意力机制和FPN结构构造FPT模块，包含自转换器ST、植入转换器GT和渲染转换器RT三种转换器结构，分别实现特征层内的全局信息交互和自上而下、自下而上的层间局部信息交互：

其中，ST结构对当前特征层进行三次不同的卷积操作得到values，keys，queries，将queries和keys分别N等分得到q_i、k_j，利用点乘计算每对的相似度s_i，j后采用MoS归一化得到权重系数w_i，j，对values进行加权求和得到特征图：

其中F_sim为点乘操作，F_mul为矩阵乘法操作，F_Mos为归一化操作定义如下，为可训练的用于归一化的参数，为所有keys_i，j的算术平均值：

GT是自上而下的特征交互，将深层特征图的语义信息植入浅层特征图的高分辨率信息，实现对浅层特征图的增强，考虑到不同尺寸的特征图提取到的语义信息存在差异，采用负欧氏距离计算相关性，公式表示如下：

其中q_i浅层特征图，k_j，v_j来自深层特征图，F_eud表示欧氏距离，即每一对q_i和k_j距离越近，其权重越大：

F_eud(q_i，k_j)＝-||q_i-k_j||² (4)

RT是自下而上的特征融合，旨在通过高分辨率的像素信息渲染高语义信息，实现对深层特征图的渲染，Q来自高层特征图，K，V来自低层特征图，首先通过对K进行全局平均池化得到权重w对Q进行加权，再通过带步长的卷积缩小V的尺寸，最后将处理后尺寸相同的K，Q相加并细化处理得到输出特征图；

其中GAP表示全局平均池化，对齐K，Q的尺寸；F_att为外积函数，实现对特征图Q的加权；F_sconv表示带步长的3×3卷积，用于缩小低层特征图V尺寸；F_conv表示3×3卷积，用于对加权结果Q_att进行优化；F_add表示先相加后经过3×3卷积进行细化处理；

(3)构建单阶段目标检测BP神经网络，采用CSPDarknet53作为主干网络进行特征提取，采用FPT结构进行信息融合，输出模块利用锚框思想进行预测和回归，并采用最优二分匹配思想设计损失函数；将航拍图像尺寸统一为416×416×3作为网络输入，缺陷所在光伏组件中心的像素坐标作为输出，训练所构建的神经网络，得到针对红外图像缺陷检测的神经网络；

其中输出模块将特征图划分为S×S个网格，每个网格负责预测9个不同尺度的锚框，即学习锚框在网格中的相对偏移和各类别概率，需要学习(t_x，t_y，t_w，t_h，p_obj，p_cls)六个参数，其中(t_x，t_y)表示锚框中心坐标相对于网格点的偏移，(t_w，t_h)表示边界框宽高与预设边界框宽高的比值，p_obj表示边界框中包含检测目标的概率，p_cls表示检测目标属于各类别的概率，最后通过基于DIOU改进的非极大值抑制算法NMS对所有预测结果进行筛选，得到的目标边界框坐标和类别信息作为网络输出；

损失函数采用二分图匹配算法，在每一代训练结束后通过损失函数最小化策略寻找预测结果与真值的最优二分图匹配，并只对匹配成功的预测目标框计算损失函数，损失函数定义为分类损失与定位损失的加权和：

其中表示分类损失，用Focalloss计算，表示两个目标框中心点的归一化欧式距离，表示两个目标框的左上角点与右下角点的归一化曼哈顿距离，λ_cls、λ_cls、λ_Manhattan为加权系数；

(4)用语义分割网络LEDNet对原始图像进行分割，得到光伏组件串掩模；对光伏组件串掩膜进行二值化分割得到光伏组件掩模，然后进行中值滤波消除噪声点，并先后进行腐蚀、膨胀操作对光伏组件分割结果进行优化，取其最小外接矩形作为优化后的光伏组件掩模；最后根据目标检测网络的定位结果确定有故障的光伏组件，得到目标组件的角点像素坐标；

(5)采用基于无人机POS数据的目标定位方法，通过机载GPS/1NS系统获取图像捕获时相机姿态角、视野角及无人机的飞行高度、GPS坐标等信息，根据空中三角几何关系计算出目标像素点的GPS坐标；

目标检测模块获得缺陷组件的四个角点坐标(x₁，y₁，x₂，y₂)和缺陷类别，根据下式计算得到该光伏组件中心点的像素坐标(x，y)，即目标像素点坐标：

无人机的飞行高度为h，GPS坐标为(x_D，y_D)，相机视野角γ，俯仰角θ_ZD，航向角ψ_ZD，相机视野范围为(y_f0，y_f1)，(x_f0，x_f1)，目标像素点的GPS坐标为(X，Y)，红外图像的尺寸为(W，H)；

首先计算相机视野范围的四个角点，即图片四个顶点的GPS坐标，根据空中三角关系有：

根据红外图像像素坐标与实地GPS坐标的相似关系，由式(9)计算得目标光伏组件中心点的GPS坐标；