[发明专利]基于图像处理的桥梁建筑智能检测方法

权利要求书

1.基于图像处理的桥梁建筑智能检测方法，其特征在于，所述方法包括：

通过摄像头拍摄图像，获取桥梁结构图像，对所述桥梁结构图像进行标注，获取标注图像；

构建桥梁缺陷检测模型，根据所述桥梁结构图像与所述标注图像训练桥梁缺陷检测模型；

利用神经网络获取桥梁缺陷检测模型的特征图像，对特征图像进行图像分析获取目标窗口的特征区域；对目标窗口的特征区域进行边缘检测获取特征区域轮廓；基于特征区域轮廓上每一个轮廓点与特征区域轮廓的质心获取每个轮廓点的置信度与抑制系数；根据所述置信度与所述抑制系数计算缩放距离；

基于所述缩放距离对所述每个轮廓点进行缩放获取初始轮廓集，并对所述初始轮廓集进行水平集分割，获取缺陷区域；

根据所述缺陷区域调整桥梁缺陷检测模型的目标窗口实现目标窗口的修正，精准定位出缺陷；

所述特征图像即神经网络得到的解释性图，其方法如下：

采用Smooth Grad-CAM++神经网络解释性方法套入YoloV5分类层得到解释性图，Smooth Grad-CAM++ 技术提供了在模型预测过程的每个实例上可视化层、特征图子集或特征图中的神经元子集的能力；将解释性图记为桥梁缺陷检测模型的特征图像；

所述对特征图像进行图像分析获取目标窗口的特征区域，包括的具体方法为：

对特征图像进行极差归一化，得到归一化特征图像，对所述归一化特征图像进行阈值化操作，得到特征二值图；对所述特征二值图进行连通域分析，得到特征连通域图像；

获取桥梁缺陷检测模型得到的目标窗口并获取该目标窗口所包含的特征连通域图像中的相应区域，称为目标窗口的特征区域；获取所述目标窗口的特征区域与所述特征连通域图像中有交集的连通域，若连通域存在多个，则获取面积最大的连通域，并求取面积最大的连通域的外接矩形，该外接矩形所包含的特征连通域图像的区域组成目标窗口的特征区域；

所述基于特征区域轮廓上每一个轮廓点与特征区域轮廓的质心获取每个轮廓点的置信度与抑制系数，包括的具体方法为：

首先获取目标窗口的特征区域轮廓的质心，然后将特征区域轮廓上每一个轮廓点与质心点进行连线，每个连线上所经过的像素组成一个序列，称为轮廓射线序列，对于所述轮廓射线序列进行总方差的计算：

分别为当前轮廓点轮廓射线序列灰度方差、解释性方差的权重，分别表示当前轮廓点轮廓射线序列的灰度方差、解释性方差；表示轮廓点轮廓射线序列的总方差；

计算置信度T，所述轮廓点轮廓射线序列的总方差与置信度呈负相关关系，计算公式如下：

表示轮廓点轮廓射线序列的总方差；通过上述方法，获取每个轮廓点的置信度；

所述获取每个轮廓点的置信度与抑制系数，包括的具体方法为：

获取每个轮廓点相邻的轮廓点的置信度；

基于所述每个轮廓点相邻的轮廓点获取轮廓点的抑制系数：

n表示相邻轮廓点的个数，表示当前点的置信度，为第i个相邻点的置信度；

所述根据所述置信度与所述抑制系数计算缩放距离，包括的具体方法为：

获取每个轮廓点与连通域质心的距离，然后根据每个轮廓点的置信度与抑制系数计算每个轮廓点的缩放距离，其中轮廓点与连通域质心的距离、轮廓点的置信度与缩放距离呈正相关关系，轮廓点的抑制系数与缩放距离呈负相关关系，缩放距离的计算公式如下：

d为轮廓点与连通域质心的距离，为约束系数，T为该轮廓点的置信度，为该轮廓点的抑制系数，为抑制速率系数；

所述基于所述缩放距离对所述每个轮廓点进行缩放获取初始轮廓集，包括的具体方法为：

获取每个轮廓点的缩放距离，然后将该轮廓点在其与质心点的连线上移动缩放距离的长度，得到缩放轮廓点位置，最终对于每个点都进行缩放，即可得到缩放后的轮廓点集合，组成初始轮廓集。

2.根据权利要求1所述的基于图像处理的桥梁建筑智能检测方法，其特征在于，所述桥梁缺陷检测模型采用基于深度学习的目标检测网络。

3.根据权利要求1所述的基于图像处理的桥梁建筑智能检测方法，其特征在于，所述根据所述缺陷区域调整桥梁缺陷检测模型的目标窗口实现目标窗口的修正，包括的具体方法为：

获取缺陷区域的外接矩形，计算目标窗口比例，即将外接矩形的面积除以目标窗口的面积，当目标窗口比例大于等于扩展上限阈值或小于等于缩放下限阈值时，不进行目标窗口更改；当目标窗口比例处在缩放下限阈值与扩展上限阈值之间时对目标窗口进行更改，将该外接矩形作为目标窗口，实现目标窗口修正。