[发明专利]一种融合CNN和Tansformaer的道路裂纹实时检测方法

权利要求书

1.一种融合CNN和Tansformaer的道路裂纹实时检测方法，其特征在于，包括：

S1：获取原始道路图像并对原始道路图像中的道路裂痕通过Labelme进行标注，得到原始道路图像的二值标签；

S2：根据原始道路图像和原始道路图像的二值标签创建原始道路图像数据集；

S3：创建道路裂纹检测模型，所述道路裂痕检测模型包括：CNN卷积编码模块、Tansformaer编码模块、特征融合模块和分割预测模块；

S4：将图像数据集作为训练样本对道路裂痕检测模型进行训练；

S5：实时采集道路图像，并将采集到的道路图像输入训练好道路裂痕检测模型；输出道路图像检测结果。

2.根据权利要求1所述的一种融合CNN和Tansformaer的道路裂纹实时检测方法，其特征在于，所述对原始道路图像中的道路裂痕通过Labelme进行标注包括：将道路裂痕区域的像素值设置为1，不是道路裂痕区域的像数值设置为0。

3.根据权利要求1所述的一种融合CNN和Tansformaer的道路裂纹实时检测方法，其特征在于，所述根据原始道路图像和原始道路图像的二值标签创建原始道路图像数据集包括：将原始道路图像和原始道路图像的二值标签进行相同的尺度变换、裁剪、拼接对数据进行扩充得到原始道路图像数据集。

4.根据权利要求1所述的一种融合CNN和Tansformaer的道路裂纹实时检测方法，其特征在于，所述将图像数据集作为训练样本对道路裂痕检测模型进行训练包括：

S41：将原始道路图像输入CNN卷积编码模块进行多个尺度的特征提取，得到多个尺度的第一原始道路图像特征；

S42：将原始道路图像输入Tansformaer编码模块进行多个尺度的特征提取，得到多个尺度的第二原始道路图像特征；

S43：将多个尺度的第一原始道路图像特征和多个尺度的第二原始道路图像特征输入特征融合模块，将相同尺度的第一原始道路图像特征和第二原始道路图像特征进行特征融合得到多个尺度的第一原始道路图像融合特征；

S44：将多个尺度的第一原始道路图像融合特征输入分割预测模块将多个尺度的第一原始道路图像融合特征进行特征融合得到第二原始像融合特征，并对第二原始道路图像融合特征进行二值化处理得到道路裂痕检测结果图；

S45：根据道路检测结果图与原始道路图像的二值标签利用加权交叉熵损失函数调整道路裂痕检测模型的参数，完成道路裂痕检测模型的训练。

5.根据权利要求4所述的一种融合CNN和Tansformaer的道路裂纹实时检测方法，其特征在于，所述CNN卷积编码模块由N个特征提取层堆叠组成，每个特征提取层的输出作为下一个特征提取层的输入，所述特征提取层包括：不同尺度的卷积核、rule激活函数和最大池化层；所述卷积编码模块中的N个特征提取层按照网络深度由小到大排列；

所述将原始道路图像输入CNN卷积编码模块进行多个尺度的特征提取，得到多个尺度的第一原始道路图像特征包括：

将原始道路图像输入第一个特征提取层依次经过N个特征提取层进行不同尺度的特征提取得到N个不同尺度的第一原始道路图像特征；其中，每个特征提取层下采样的尺度为输入的

6.根据权利要求4所述的一种融合CNN和Tansformaer的道路裂纹实时检测方法，其特征在于，所述Tansformaer编码模块由N个编码层堆叠组成，每个编码层的输出作为下一个编码层的输入；每个编码层包括依次连接的特征分块层、特征转换层、第一LayerNorm层、位置编码模块、dropout层、第二LayerNorm层、Linear层、自注意力层、第三LayerNorm层、多层感知机层和特征还原层；

所述将原始道路图像输入Tansformaer编码模块进行多个尺度的特征提取，得到多个尺度的第二原始道路图像特征包括：

将原始道路图像输入第1个编码层依次经过N个编码层进行特征提取得到N个不同尺度的第二原始道路图像特征；其中，每个编码层下采样的尺度为输入的