[发明专利]一种基于深度特征点的表计识别二次定位方法

说明书

本发明公开了一种基于深度特征点的表计识别二次定位方法，属于图像识别技术领域，具体包括以下步骤：从后台数据库拿出表计的模板图片，并通过ROS从云台得到实际拍摄图片；采用backbone网络提取两张图片的高维特征，并进行下采样，将两张图片进行缩放；将缩放之后的两张图片输入至基于SegNet的特征点提取网络中来压缩backbone网络输出的矩阵深度，并进行上采样，将两张图片进行还原，同时也将缩放之后的两张图片输入至基于SegNet的特征点描述子提取网络中来固定backbone网络输出的矩阵深度。该种基于深度特征点的表计识别二次定位方法，运用深度学习方法，提取图像的高维特征点，进而增强了二次定位匹配在光照变换、低纹理场景下的稳定性和鲁棒性。

技术领域

本发明涉及图像识别技术领域，具体为一种基于深度特征点的表计识别二次定位方法。

背景技术

在变电站巡检机器人识别表计的过程中，由于原始视角过大，云台摄像头需要调整位姿与焦距，对表计进行二次定位，将表计放大并定位到图像的正中央。现阶段，各家二次定位算法都基于传统的ORB，SIFT特征点检测与Ransac匹配方法，将实际拍摄的图像与模板图像进行匹配，得到两张图片的变换矩阵，继而云台根据变换矩阵进行相应的调整。但是传统特征点检测对光照变换、低纹理场景缺乏稳定性和鲁棒性，并且由于传统特征点只代表了局部的特征，无法提取图像的高维特征，因此在实际运用中，存在模板与实际拍摄图像匹配不上的情况。

发明内容

本发明的目的是提供一种基于深度特征点的表计识别二次定位方法，以解决上述提到的问题。

本发明具体采用如下技术方案：

一种基于深度特征点的表计识别二次定位方法，其流程如图1所示，具体包括以下步骤：

步骤一：从后台数据库拿出表计的模板图片，并通过ROS从变电站巡检机器人上的云台得到实际拍摄图片；

步骤二：采用backbone网络提取两张图片的高维特征，并进行下采样，将两张图片进行缩放；

步骤三：将缩放之后的两张图片输入至基于SegNet的特征点提取网络中来压缩backbone网络输出的矩阵深度，并进行上采样，将两张图片进行还原，同时也将缩放之后的两张图片输入至基于SegNet的特征点描述子提取网络中来固定backbone网络输出的矩阵深度，并进行上采样，将两张图片进行还原，以得到两张图片的深度特征点与描述子；

步骤四：根据两张图片中的深度特征点与描述子，对深度特征点进行匹配，并计算图片坐标系的变换矩阵；

步骤五：变电站巡检机器人上的云台根据计算出的图片坐标系的变换矩阵进行焦距与角度的变换，使得云台图片的坐标系与模板坐标系重合。

进一步的，步骤二中，backbone网络为SOTA的基于efficientnet的backbone特征提取网络。

进一步的，步骤二中，两张图片的宽和高均被缩放至原始大小的三十二分之一。

进一步的，步骤三中，基于SegNet的特征点提取网络中穿插有Residual Block，并运用channel-wise的softmax来压缩backbone网络输出的矩阵深度。

进一步的，步骤三中，输入至基于SegNet的特征点提取网络中被还原之后的两张图片得到宽*高*1的图像矩阵，其中为1的像素点为选出的深度特征点。

进一步的，步骤三中，在基于SegNet的特征点描述子提取网络中穿插ResidualBlock，并运用Bi-cubic interpolation来固定backbone网络输出的矩阵深度。

进一步的，步骤三中，输入至基于SegNet的特征点描述子提取网络中被还原之后的两张图片得到宽*高*256的图像矩阵，其中每一个像素中的256位为该像素的描述子。