[发明专利]一种基于单相机的应变片三维坐标获取方法和系统

权利要求书

1.一种基于单相机的应变片三维坐标获取方法，其特征在于，包括：

标定相机内参，包括焦距、主点和畸变系数；

从拍摄的图像序列中进行编码点检测，得到编码点对应关系；

根据第一二帧中匹配的编码点对应关系，使用八点算法计算前两帧的本质矩阵，使用奇异值分解得到三维旋转矩阵和平移向量，使用三角测量法重构编码点的三维坐标，并将第一帧相机坐标系作为参考坐标系；

采用N点透视算法解算后续每一帧相机相对于参考坐标系的姿态，包括三维旋转向量和平移向量，得到图像序列中每帧相机在参考坐标系下的姿态信息；

使用深度学习方法识别所拍摄图像序列中的应变片；

根据计算得到的每帧相机在参考坐标系下姿态信息，计算得到匹配应变片；

根据计算得到的每帧相机在参考坐标系下姿态信息和匹配应变片，从第一帧开始，采用三角测量算法对相邻两帧图像中匹配到的应变片进行三维重构，得到应变片的三维坐标。

2.根据权利要求1所述的一种基于单相机的应变片三维坐标获取方法，其特征在于，所述从拍摄的图像序列中进行编码点检测，包括：

使用15位环形编码点，通过图像二值分割提取环形编码带，进行解码得到编码点的ID；

根据对应的中心定位圆采用灰度重心法得到编码点的图像坐标，相邻图像中具有相同ID的编码点为匹配的编码点对应关系。

3.根据权利要求1所述的一种基于单相机的应变片三维坐标获取方法，其特征在于，所述使用深度学习方法识别所拍摄图像序列中的应变片，包括：

采用YOLO模型作为应变片识别模型，按照实际需求将应变片贴在物体表面后，从多角度拍摄若干组图像，并根据数据增强原理扩展样本数量，标注每张图像中的应变片，并按设定的比例随机将数据集分成训练集、验证集和测试集；

采用交叉验证的方式对模型进行训练，得到用于应变片识别的YOLO模型；

在测试集上进行测试，评估模型的mAP@0.5数值，mAP@0.5数值大于设定阈值时，模型训练达标。

4.根据权利要求3所述的一种基于单相机的应变片三维坐标获取方法，其特征在于，所述样本数量≥1500。

5.根据权利要求1所述的一种基于单相机的应变片三维坐标获取方法，其特征在于，所述根据计算得到的每帧相机在参考坐标系下姿态信息，计算得到匹配应变片，包括：

根据计算得到的每帧相机在参考坐标系下姿态信息，构建相邻帧之间的极线约束关系，前一帧的应变片为源应变片，计算前一帧每一个应变片在下一帧图像中极线；

计算下一帧中图像中每一个应变片到该极线的距离，将满足给定阈值要求的应变片按照距离从小到大排序，得到每一个源应变片的候选应变片集合，同时采用SIFT特征描述子，计算源应变片和候选应变片集合中每个应变片的128维特征向量，并计算源应变片特征向量与每一个候选应变片特征向量之间的2范数，具有最小2范数和最小极线距离的候选应变片为源应变片的匹配应变片。

6.一种基于单相机的应变片三维坐标获取系统，其特征在于，包括：相机、工程计算机；

所述相机用于对带有应变片的目标物体进行环绕多视角成像，得到图像序列，并将拍摄到的图像导入工程计算机；

所述工程计算机包括：编码点检测模块、相机姿态计算模块、应变片识别模块、三维重构模块；

编码点检测模块：用于从拍摄的图像序列中进行编码点检测，得到编码点对应关系；

相机姿态计算模块：用于根据第一二帧中匹配的编码点对应关系，使用八点算法计算前两帧的本质矩阵，使用奇异值分解得到三维旋转矩阵和平移向量，使用三角测量法重构编码点的三维坐标，并将第一帧相机坐标系作为参考坐标系；采用N点透视算法解算后续每一帧相机相对于参考坐标系的姿态，包括三维旋转向量和平移向量，得到图像序列中每帧相机在参考坐标系下的姿态信息；

应变片识别模块：用于使用深度学习方法识别所拍摄图像序列中的应变片；根据计算得到的每帧相机在参考坐标系下姿态信息，计算得到匹配应变片；

三维重构模块：用于根据计算得到的每帧相机在参考坐标系下姿态信息和匹配应变片，从第一帧开始，采用三角测量算法对相邻两帧图像中匹配到的应变片进行三维重构，得到应变片的三维坐标。