[发明专利]一种基于人工智能的光伏电站零件松动检测系统及方法

权利要求书

1.一种基于人工智能的光伏电站零件松动检测系统，其特征在于：包括图像获取模块、实例分割模块、姿态特征提取模块、相对特征提取模块、特征融合模块和松动判别模块；

所述图像获取模块用于获取零件图像信息；所述零件图像信息分为初始图像信息和当前图像信息；

所述实例分割模块用于通过分割所述初始图像信息，输出每个零件的实例掩膜；

所述姿态特征提取模块用于通过处理所述实例掩膜获取每个零件的姿态特征；

所述相对特征提取模块用于通过处理所述实例掩膜得到实例邻域掩膜，所述实例邻域掩膜表示零件周围的附属零件；通过处理所述实例邻域掩膜和所述实例掩膜获取每个零件与其周围附属零件的相对特征；

所述特征融合模块用于分别将所述实例掩膜、所述姿态特征和所述相对特征融合到所述松动判别模块中；

所述松动判别模块用于结合所述图像信息和所述特征融合模块融合的特征对零件根据所预设的松动等级进行判别。

2.如权利要求1所述的一种基于人工智能的光伏电站零件松动检测系统，其特征在于：所述图像获取模块采用线扫描相机或者面阵相机获得所述零件图像信息。

3.如权利要求1所述的一种基于人工智能的光伏电站零件松动检测系统，其特征在于：所述姿态特征提取模块包括：第一图像裁切模块和边缘提取模块；

所述第一图像裁切模块，用于裁切所述实例掩膜获得零件像素数据；

所述边缘提取模块，用于通过预先训练好的边缘提取网络处理所述零件像素数据，获取每个零件的边缘特征，所述边缘特征表示每个零件的姿态特征。

4.如权利要求1所述的一种基于人工智能的光伏电站零件松动检测系统，其特征在于：所述相对特征提取模块包括：实例邻域掩膜提取模块、第二图像裁切模块、相对特征编码器、相对特征解码器；

所述实例邻域掩膜提取模块，用于处理所述实例掩膜，输出所述实例邻域掩膜；

所述第二图像裁切模块，用于裁切所述实例邻域掩膜，获得零件邻域像素数据；

相对特征编码器，用于提取所述零件像素数据和所述零件邻域像素数据的特征作为所述相对特征解码器的输入；

相对特征解码器，用于对所述相对特征解码器的输入进行采样，输出所述相对特征。

5.如权利要求1所述的一种基于人工智能的光伏电站零件松动检测系统，其特征在于：所述特征融合模块包括3个相同的融合单元：第一融合单元、第二融合单元和第三融合单元；

所述融合单元利用注意力机制分别处理所述实例掩膜、所述姿态特征和所述相对特征，将处理好的融合特征信息输入所述松动模块中，使得所述松动判别模块处理所述图像信息时更专注所述融合特征信息进行运算判别。

6.如权利要求1所述的一种基于人工智能的光伏电站零件松动检测系统，其特征在于：所述松动判别模块包括当前信息编码层、初始信息编码层、第一全连接层、第二全连接层和第三全连接层；

所述当前信息编码层和所述初始信息编码层处理时权值共享；所述当前信息编码层用于处理所述当前图像信息；所述初始信息编码层用于处理所述初始图像信息，将处理结果输入所述融合单元，使松动判别模块分别与所述实例掩膜、所述姿态特征和所述相对特征融合；

所述当前信息编码层将处理的结果传递给所述第一全连接层，所述初始信息编码层将处理结果传递给第二全连接层；所述第一全连接层和所述第二全连接层处理信息时权值共享；

所述第一全连接层和所述第二全连接层的处理结果共同输入所述第三全连接层，所述第三全连接层输出所预设的松动等级。

7.如权利要求5所述的一种基于人工智能的光伏电站零件松动检测系统，其特征在于：所述融合单元包括：乘法单元、第一融合编码器和第二融合编码器；

将所需融合的特征作为所述第一融合编码器的输入；所述乘法单元将所述初始信息判别编码器的输出和所述第一融合编码器的输出相乘，经过所述第二融合编码器输入所述松动模块中。