[发明专利]基于语义分割实现3D打印桥面施工质量监测方法及系统

权利要求书

1.一种基于语义分割实现3D打印桥面施工质量监测方法，其特征在于，所述方法包括以下内容：

获取3D打印桥面施工过程中打印区域的缺陷图像，并对缺陷视频图像逐帧进行标注，将标注后的缺陷图像分为训练集和测试集；

构建语义分割缺陷测量模型，所述语义分割缺陷测量模型包括SegFormer神经网络和用于像素面积与实际面积换算的面积换算模块：

所述SegFormer神经网络包括编码器和解码器，图像输入编码器中的重叠补丁嵌入模块，将输入图像切割为一个个图块，然后依次经第一转换器模块、第二转换器模块、第三转换器模块、第四转换器模块后，获得多层特征图，将多层特征图输出连接解码器的多层感知机层，将经过多层感知机层输出的多层次特征进行拼接操作，拼接后的结果经过一个多层感知机后输出结果；

第一转换器模块、第二转换器模块、第三转换器模块、第四转换器模块结构相同，包括基于滑动窗口技术的自注意力机制模块、混合前馈网络模块和重叠补丁融合模块，获得大小相同但分辨率不同的四个特征图；

所述基于滑动窗口技术的自注意力机制模块先对图块进行归一化操作，设置移动窗口和移动步长，用移动窗口在每个图块上按照移动步长滑动，然后将特征图切成一个个窗口计算注意力权重，将注意力权重合并回原始特征图中的相应位置，再做dropout和残差连接，最后依次通过一层归一化操作、全连接层、dropout和残差连接；

利用训练集训练SegFormer神经网络获得缺陷的像素面积，再通过面积换算模块获得缺陷的实际面积，至此完成语义分割缺陷测量模型的构建，用于3D打印桥面施工质量监测。

2.根据权利要求1所述的基于语义分割实现3D打印桥面施工质量监测方法，其特征在于，所述第一转换器模块的重叠补丁融合模块的卷积核大小kernel=7，步长stride=4，填充padding=3；第二转换器模块、第三转换器模块、第四转换器模块的重叠补丁融合模块的卷积核大小kernel=3，步长stride=2，填充padding=1；所述移动窗口的像素大小为4*4，移动步长stride=2。

3.根据权利要求1所述的基于语义分割实现3D打印桥面施工质量监测方法，其特征在于，所述训练集和测试集数据的获得过程是：

步骤1.1将获取的3D打印桥面施工过程中打印区域的裂缝缺陷图像、气泡缺陷图像所需识别的区域利用Labelme工具进行像素级标注，为每个像素分配相应的语义标签，形成带有标注信息的数据集，在标注完成后生成二值图，黑色像素值为0，代表背景，白色像素值为255，代表目标缺陷；标注信息以像素级别指示图像中每个像素所属的类别；

步骤1.2利用融合随机概率重采样和自适应尺度均衡实现数据增广；

步骤1.2.1计算输入图像集D中每张图像包含的小尺度目标总数量N₁、各尺度目标总数量N₂，定义实例图像抽取的概率P=N₁/N₂；

步骤1.2.2利用Rand()函数产生随机数R，R∈（0，1），根据输入图像集D中实例图像抽取的概率P确定需要被重采样的数据OD；若该实例图像抽取的概率P大于随机数R，则进行重采样，对需要被重采样的数据OD进行两次采样；否则计入不满足重采样的数据中进行一次采样；并将两者的结果拼接得到重采样数据集RD；

步骤1.2.3对重采样数据集RD采取自适应均衡策略，统计每张被裁剪图像中目标总数N_RD，获取被剪裁图像的抽取概率p_rc，被裁剪图像中大、中尺度目标的实际占比为1－p_rc，计算输入图像集中大、中尺度目标占比的期望E(D)，并根据ｎ＝N_RD×{（1-p_rc）－E(D)}计算最大裁剪目标个数ｎ；

若目标像素面积与整个图像的比值超过5%，定义为大尺度目标，若目标像素面积与整个图像的比值介于3%-5%，定义为中尺度目标，若目标像素面积与整个图像的比值小于3%，定义为小尺度目标；

步骤1.2.4提取第j个被裁剪目标的二值化掩码，依据式SD＝得到裁剪后的图像，所有裁剪后的图像的集合记为裁剪后的数据集SD；其中，是像素级乘法；

步骤1.2.5将输入图像集D、重采样数据集RD以及裁剪后的数据集SD按照6：2：2的比例进行拼接得到增广后的数据集；

步骤1.3将增广后的数据集中的图片按照8:2的比例分配为训练集和测试集。