[发明专利]一种基于立体视觉的预制混凝土构件装配过程监控的方法

权利要求书

1.一种基于立体视觉的预制混凝土构件装配过程监控的方法，其特征在于，包括如下步骤：

步骤1，分别在既有结构和预制构件上粘贴不同种类的靶标各3个，安装双目相机并调整相机角度，使左、右两相机的视场均能覆盖所有靶标；

步骤2，固定相机姿态并通过标定板标定，得到双目相机的内外参数；

步骤3，采用双目相机对带有靶标的预制构件和既有结构进行图像采集，利用预先训练好的Yolov4-tiny网络模型对图像中的靶标进行分类识别，得到靶标的初始位置和类型；

步骤4，根据靶标的初始位置，利用椭圆中心检测方法得到靶标的像素坐标，再通过双目立体视觉模型得到靶标的三维坐标；

步骤5，根据既有结构上靶标的三维坐标建立参考坐标系，根据预制构件上靶标的三维坐标建立构件坐标系，求解参考坐标系与构件坐标系的转换关系；

步骤6，设置预制构件的控制点以及控制平面，根据步骤5求解的转换关系，将控制点在构件坐标系下的坐标转换至参考坐标系中，得到控制点在参考坐标系下的坐标；

步骤7，将控制点在参考坐标系下的坐标与对应的理想坐标进行对比，当所有控制点在参考坐标系下的坐标与对应的理想坐标之间的误差均小于预设阈值时，判断完成预制构件的吊装。

2.根据权利要求1所述基于立体视觉的预制混凝土构件装配过程监控的方法，其特征在于，步骤2所述双目相机的内外参数通过如下数学模型得到：

其中，当求解左相机的内外参数时，(u v 1)^T为点X在左相机的像素坐标，(x_w y_w z_w 1)^T为点X的世界坐标，点X为标定板上任意一点，f_α、f_β为左相机的等效焦距，u₀、v₀为左相机相平面的主点的像素坐标，(x_c y_c z_c)^T为点X在左相机坐标系下的坐标，z_c为左相机中物点到光心的距离在光轴方向的投影，[R T]为由旋转矩阵R和平移向量T组成的左相机外参矩阵，K为左相机的内参矩阵，P为3行4列的左相机投影矩阵。

3.根据权利要求1所述基于立体视觉的预制混凝土构件装配过程监控的方法，其特征在于，步骤3所述预先训练好的Yolov4-tiny网络模型的训练过程如下：

设计制作6种类型的靶标，分别采集这6种靶标在不同背景下的200张图片和30张图片分别作为训练集和验证集，利用Mosaic数据增强方法对训练集进行扩充，利用扩充后的训练集对Yolov4-tiny网络模型进行训练，并利用验证集进行验证，得到预先训练好的Yolov4-tiny网络模型。

4.根据权利要求1所述基于立体视觉的预制混凝土构件装配过程监控的方法，其特征在于，步骤4所述椭圆中心检测方法，具体如下：

对于靶标的初始位置，通过灰度矩边缘检测方法检测靶标的边缘，得到弧段，设置阈值，去除弧段中的直弧和短弧，利用边缘像素的梯度和弧的凹凸性将剩余的弧段划分到第一至第四象限中，从任意三个象限中各选一个弧段，判断选出来的三个弧段是否属于同一个椭圆，若属于则计算椭圆的中心，重复若干次选择，得到椭圆的6个中心，取6个中心的平均值作为椭圆的最终中心。