[发明专利]融合三维点云和二维图像的电网线路部件缺陷定位方法

说明书

本发明提出融合三维点云和二维图像的电网线路部件缺陷定位方法，包括以下步骤；步骤S1：对无人机进行相机参数标定，使相机的像素坐标系能与世界坐标系相互转换；步骤S2：从无人机对电网线路航拍巡检获取的可见光图像F中提取拍摄点位信息，并以该信息获得可见光图像F中巡检目标的三维点云数据；步骤S3：利用深度学习模型获取缺陷部件的中心坐标；步骤S4：对三维点云数据进行投影变换得到二维图像F’；步骤S5：对F、F’进行融合处理，得到缺陷部件在图像F’的坐标位置；步骤S6：将缺陷部件在图像F’的坐标位置变换到三维世界坐标系下的位置；本发明能准确记录电网线路缺陷部位的信息，促进机巡作业后续图像信息处理效率。

技术领域

本发明涉及电网线路巡检技术领域，尤其是融合三维点云和二维图像的电网线路部件缺陷定位方法。

背景技术

无人机携带可见光拍摄装置进行电网线路精细化巡检已逐步常态化，目前的线路部件缺陷分析也主要基于无人机拍摄的线路图像。但是，由于无人机在拍照过程中存在这两方面的问题：一是由于实际操作中存在偏差，拍摄目标区域、角度、方位等因素的变化，导致目标部件在图像中的位置具有不确定性；二是拍摄图像中包含较多的部件，仅依靠二维图像信息在缺陷分析后无法建立图像中的缺陷与实际部件位置的准确对应关系。因此，在目前的线路缺陷记录中主要采用文字描述的方式记录线路部件缺陷内容，由于采用文字描述无法准确地提供缺陷发生位置，而且还会由于塔型不同、新部件应用等原因，导致缺陷部位的描述出现差异甚至产生歧义，从而给线路缺陷的分析造成困难，因此亟需能够进行线路缺陷准确定位的方法。

发明内容

本发明提出融合三维点云和二维图像的电网线路部件缺陷定位方法，具有快速、精准的特点，通过三维坐标变换、图像特征识别匹配等方法，准确记录电网线路缺陷部位的信息，从而促进电网线路机巡作业中的后续图像信息处理工作效率，推动和提升海量巡检图像数据信息的挖掘和应用效果。

本发明采用以下技术方案。

融合三维点云和二维图像的电网线路部件缺陷定位方法，用于无人机航拍巡检，所述定位方法包括以下步骤；

步骤S1：对无人机携带的相机进行相机参数标定，使相机的像素坐标系能与世界坐标系相互转换；

步骤S2：从无人机对电网线路航拍巡检获取的可见光图像F中提取与图像对应的拍摄点位信息，并以该信息获得可见光图像F中巡检目标的三维点云数据；

步骤S3：利用深度学习模型对巡检目标中的缺陷部件进行智能识别，获取缺陷部件的中心坐标；

步骤S4：对三维点云数据进行投影变换以处理其三维图像信息，得到以相机为原点的坐标系下的三维点云数据的坐标，同时根据相机标定参数，进行世界坐标系到图像坐标系的变换，得到二维图像F’；

步骤S5：进行融合处理，为了确保对巡检目标中缺陷部件的准确匹配，采用特征匹配和位置匹配两种方式进行确认；先对可见光图像F和二维图像F’整体进行特征匹配，得到两张图中整体目标的位置偏移；然后将图像F中识别到的缺陷部件中心坐标与偏移量进行计算，得到缺陷部件在图像F’的坐标位置；

步骤S6：进行坐标逆变换；将缺陷部件在图像F’的坐标位置变换到三维世界坐标系下的位置，建立部件状态与实际位置的对应关系并记录结果。

步骤S2中的所述巡检目标为电网线路中的杆塔，步骤S2以可见光图像信息为基础，提取对应巡检目标的杆塔的三维点云。

在步骤S3中，深度学习模型对巡检目标中的缺陷部件进行智能识别后，在可见光图像F中的中心位置坐标处输出缺陷目标框对缺陷部件进行标识。

步骤S2中的拍摄点位信息包括无人机拍摄位置和相机拍摄方位；所述无人机拍摄位置包括无人机高度和无人机拍摄点位的GPS坐标；

在步骤S4中，对可见光图像F中的目标杆塔进行三维点云投影变换处理，其方法包括以下步骤；