[发明专利]融合三维点云和二维图像的电网线路部件缺陷定位方法

权利要求书

1.融合三维点云和二维图像的电网线路部件缺陷定位方法，用于无人机航拍巡检，其特征在于：所述定位方法包括以下步骤；

步骤S1：对无人机携带的相机进行相机参数标定，使相机的像素坐标系与空间直角大地坐标系相互转换；

步骤S2：从无人机对电网线路航拍巡检获取的可见光图像F中提取与图像对应的拍摄点位信息，并以该信息获得可见光图像F中巡检目标的三维点云数据；

步骤S3：对巡检目标中的缺陷部件进行智能识别，获取缺陷部件的中心坐标；

步骤S4：对三维点云数据进行投影变换以处理其三维图像信息，得到以相机为原点的坐标系下的三维点云数据的坐标，同时根据相机标定参数，进行空间直角大地坐标系到图像坐标系的变换，得到二维图像F’；

步骤S5：先对可见光图像F和二维图像F’整体进行特征匹配，得到两张图中整体目标的位置偏移；然后将图像F中识别到的缺陷部件中心坐标与偏移量进行计算，得到缺陷部件在图像F’的坐标位置；

步骤S6：将缺陷部件在图像F’的坐标位置变换到空间直角大地坐标系下的位置，建立部件状态与实际位置的对应关系；

步骤S2中的拍摄点位信息包括无人机拍摄位置和相机拍摄方位；所述无人机拍摄位置包括无人机高度和无人机拍摄点位的GPS坐标；

在步骤S4中，对可见光图像F中的目标杆塔进行三维点云投影变换处理，其方法包括以下步骤；

步骤S41：根据无人机的拍摄位置和相机拍摄方位，并结合拍摄目标杆塔的三维点云数据，对杆塔的三维点云数据进行坐标系变换；

步骤S42：结合相机标定得到的变换矩阵，对三维点云数据进一步进行坐标系变换，得到像素坐标系下的二维影像；

步骤S3中，采用基于YoloV5深度学习的智能识别模型进行缺陷识别；智能识别模型包括注意力模块、上采样模块、CSP1_i模块、CSP2_i模块和SPP模块，CSP1_i模块中包括了CBL模块和i个残差连接单元；CSP2_i模块包括了i个CBL模块；SPP模块包括三个最大池化层，用于对图像特征的深度挖掘；

所述智能识别模型在进行缺陷识别时，通过将待识别图像输入检测模型，经过卷积神经网络的处理，得到可见光图像中缺陷部件以及矩形目标框顶点坐标，采用中心点坐标表征缺陷部件位置，通过计算目标框顶点坐标来得到部件中心点坐标；

所述步骤S5中的特征匹配，以如下方式进行：

步骤A1、将可见光图像F进行灰度处理和噪声滤波；其中噪声滤波采用算式均值滤波方法，公式为

其中，像素点(p,q)为原图中的一个点，S为该点的邻域，n为邻域中点的数量，滤波后的图像为f％(u,v)；

步骤A2、进行边缘提取，然后变换映射到霍夫空间，通过设定直线所需最少的曲线交点，组成一条直线最少点的数量阈值，过滤干扰直线；

步骤A3、对输入图像F’进行尺寸转化使之与图像F尺寸相同，然后采用平移方式，实现特征的重合匹配；公式为

选取重合度最高，即D值最小时的平移向量，作为两张图中的目标偏移值△M＝(△x，△y)；

步骤A4、根据可见光图像智能识别得到目标框Fni在可见光图像F的中心坐标(u_ci，v_ci)和△M，可以根据下式得到目标中心在F’中的位置坐标；

2.根据权利要求1所述的融合三维点云和二维图像的电网线路部件缺陷定位方法，其特征在于：步骤S2中的所述巡检目标为电网线路中的杆塔，步骤S2以可见光图像信息为基础，提取对应巡检目标的杆塔的三维点云。

3.根据权利要求1所述的融合三维点云和二维图像的电网线路部件缺陷定位方法，其特征在于：在步骤S3中，深度学习模型对巡检目标中的缺陷部件进行智能识别后，在可见光图像F中的中心位置坐标处输出缺陷目标框对缺陷部件进行标识。

4.根据权利要求1所述的融合三维点云和二维图像的电网线路部件缺陷定位方法，其特征在于：在于所述步骤S5中进行可见光图像F和二维图像F’的特征匹配，其方法包括以下步骤：

步骤S51：提取可见光图像中的杆塔轮廓与二维图像F’中的杆塔形态进行特征匹配，同时计算两个图中目标位置的偏差；

步骤S52：根据得到的偏差和步骤S3中得到的目标框中心坐标，进一步计算缺陷部件在F’中的位置坐标。