[发明专利]一种混凝土大坝缺陷时序图像智能识别方法

说明书

本发明公开一种混凝土大坝缺陷时序图像智能识别方法，使用双流网络提取包含混凝土大坝缺陷的时序图像的特征序列，并添加时间维度的自注意力机制获取全局上下文特征关系；在模型的训练过程中，使用基于距离交并比的目标函数匹配定位缺陷和真实缺陷，计算缺陷的时序位置关系加速模型收敛；在模型损失函数中添加基于紧密感知交并比的损失项，以关注缺陷序列的完整性提高准确率；在完成缺陷定位后，采用基于2D时序差分的卷积神经网络提取缺陷特征并识别缺陷类型。本发明对混凝土大坝缺陷时序图像进行了有效检测，不仅能够定位长图像序列中的缺陷位置，还能够准确识别缺陷类型。在大坝缺陷时序图像的识别任务中具有较高的识别精度与较好的收敛性能。

技术领域

本发明属于混凝土大坝缺陷时序图像识别技术领域，特别涉及一种基于时序差分和自注意力机制的缺陷识别方法。

背景技术

在建筑工程领域，不符合工程施工质量要求规定的检验项目或检验点被定义为缺陷。随着水电站大坝的长期运行，材料老化、环境影响等因素都不同程度地导致了缺陷的形成。当缺陷程度较轻时，可采取相应措施及时处理，以满足结构的承载要求。一旦缺陷没有得到及时处理和修复，将对大坝的安全运行构成重大威胁。因此，利用自动巡检设备及时检测和排除缺陷，可以有效地维护大坝的结构安全。

在大坝水电站实际巡检场景中，通过无人机、移动摄像头等设备采集到的数据均由视频构成。在获取和传输的过程中，为节约成本会对视频进行压缩编码，从而导致模型无法直接处理视频数据，需要将视频转换为时间维度的图像序列，通过提取时序图像特征信息定位其中的缺陷并进行识别。实际采集到的时序图像，往往包含了大量与缺陷无关的背景帧，直接对整段图像序列识别难度较大。

发明内容

发明目的：经上述现有技术的分析可知，在时序图像缺陷识别任务中，模型需要能够关注图像序列的上下文特征关系以保证缺陷提取的完整性和识别准确率。为了对自动化设备采集到的大坝缺陷时序图像快速识别，本发明提供一种混凝土大坝缺陷时序图像智能识别方法。

技术方案：一种混凝土大坝缺陷时序图像智能识别方法，选用双流网络提取包含大坝缺陷的时序图像特征序列，并添加时间维度的自注意力机制获取全局特征关系；在模型的训练过程中，使用基于距离交并比的目标函数匹配定位缺陷和真实缺陷，计算缺陷的时序位置关系加速模型收敛；在模型损失函数中添加基于紧密感知交并比的损失项，以关注缺陷序列的完整性提高准确率；在完成缺陷定位后，采用基于2D时序差分的卷积神经网络提取缺陷特征并识别缺陷类型。

具体包括如下步骤：

(1)针对包含大坝缺陷的时序图像特点设计缺陷定位模型，该模型采用双流网络和Transformer网络进行时序特征提取，使用双流网络提取图像特征，通过Transformer网络给图像帧添加时间维度的自注意力机制，获取全局特征关系以定位缺陷；

(2)在缺陷定位模型训练过程中，使用基于距离交并比的目标函数匹配定位缺陷和真实缺陷，通过计算缺陷位置关系加快模型收敛速度，并在损失函数中添加基于紧密感知交并比的损失项，通过关注缺陷序列的完整性提高缺陷定位准确率；

(3)定位缺陷序列后，采用基于2D时序差分的卷积网络进行帧采样，提取缺陷图像帧的视觉和位移信息以识别缺陷类型。

所述采用双流网络和Transformer网络进行时序特征提取的具体步骤如下：

(1.1)输入原始时序图像，记作该序列包含l个图像帧，其中x_n表示该序列X的第n帧。