[发明专利]基于深度学习和SLAM技术的裂缝检测与三维定位方法

权利要求书

1.一种基于深度学习和SLAM技术的裂缝检测与三维定位方法，其特征在于，具体包括步骤:

S1、构建裂缝检测网络模型，通过数据集对裂缝检测网络模型训练并保存最优模型；

S2、对惯性测量单元与相机采集的数据，采用非线性优化的紧耦合方式进行数据融合，并在视觉SLAM的跟踪线程中完成位姿估计；

S3、在跟踪线程中对实时采集的每一帧图像进行判断，筛选出关键帧，通过裂缝检测网络模型对关键帧进行语义分割，提取出裂缝信息；

S4、将步骤S3得到的裂缝信息与相机采集的数据融入视觉惯性SLAM框架中，进行包含裂缝信息的稠密点云地图构建，完成裂缝的三维定位。

2.根据权利要求1所述的一种基于深度学习和SLAM技术的裂缝检测与三维定位方法，其特征在于，所述裂缝检测网络模型基于全卷积神经网络和残差模块以及注意力机制搭建，在每一层的卷积组中添加一个1×1的卷积层，同时加入残差模块；在编码与解码的跳跃连接部分加入双通道注意力机制。

3.根据权利要求2所述的一种基于深度学习和SLAM技术的裂缝检测与三维定位方法，其特征在于，所述步骤S1具体包括：

步骤S1-1，采集原始数据并进行数据扩充构建数据集，对数据进行归一化处理，并采用直方图均衡化、高斯双边滤波进行图像预处理；

步骤S1-2，对预处理后的图像进行标注，裂缝区域标记为白色，非裂缝区域标记为黑色，得到掩膜图像并保存，将数据集分成训练集和测试集；

步骤S1-3，搭建裂缝检测网络模型，包含四次下采样和四次上采样：下采样每次先采用3×3的和1×1的卷积核进行卷积，然后使用ReLu激活函数对卷积后的图像进行激活，再与原始的输入信息级联后，采用尺度为2×2的池化进行下采样，之后的结果作为下一层卷积的输入；上采样即模型进入第六层时，将第五层的输出作为门信号，先将门信号通过1×1的反卷积扩张为原来的2倍，再与模型第四层的输出分别输入到设置好的AG模块中，数据进过AG模块处理后，输出信号再和经过上采样的门信号级联输出，进入卷积核大小为3×3的卷积层，输出结果与第六层的原始输入信号级联，作为第七层的输入，依此类推，在网络的最后一层用一个1×1的卷积将每个64维的特征向量映射到输出层；

步骤S1-4，基于训练集对对裂缝检测网络模型迭代训练，并通过测试集验证，直至获取满足设定值的最优模型。

4.根据权利要求3所述的一种基于深度学习和SLAM技术的裂缝检测与三维定位方法，其特征在于，所述训练集和测试集比例为7:3，训练集中包含的有裂缝图像和无裂缝图像数量相等。

5.根据权利要求1所述的一种基于深度学习和SLAM技术的裂缝检测与三维定位方法，其特征在于，所述步骤S2具体包括：

S2-1，分别对相机和惯性测量单元进行标定得到各自内参数，再对二者进行联合标定，得到其转换矩阵和时差；

S2-2，通过惯性测量单元的误差模型和运动模型计算其连续帧间的预积分模型,并对陀螺仪偏置、重力加速度、速度进行初始化，完成视觉惯性联合初始化；

S2-3，将预积分模型预积分后和视觉信息采用紧耦合的方式进行数据融合，并对视觉重投影误差和惯性测量单元残差采用基于滑动窗口边缘化的非线性优化模型进行位姿估计，并通过目标优化函数确定优化后的位姿。

6.根据权利要求3所述的一种基于深度学习和SLAM技术的裂缝检测与三维定位方法，其特征在于，

所述预积分模型为：

其中，i和j为相邻的两个关键帧,δφ_ij、δv_ij、δp_ij分别表示惯性测量单元的旋转、速度、位置测量时的噪声,R_i、v_i、p_i分别表示第i个关键帧的相对旋转矩阵，速度与平移量；R_j、v_j、p_j分别表示第j个关键帧的相对旋转矩阵，速度与平移量；Δt_ij表示i,j两个时刻的时间差。