[发明专利]一种混凝土大坝缺陷时序图像智能识别方法

权利要求书

1.一种混凝土大坝缺陷时序图像智能识别方法，其特征在于，包括如下步骤：

(1)针对包含大坝缺陷的时序图像特点设计缺陷定位模型，缺陷定位模型采用双流网络和Transformer网络进行时序特征提取，使用双流网络提取图像特征，通过Transformer网络给图像帧添加时间维度的自注意力机制，获取全局特征关系以定位缺陷；

(2)在缺陷定位模型训练过程中，使用基于距离交并比的目标函数匹配定位缺陷和真实缺陷，通过计算缺陷位置关系加快模型收敛速度，并在损失函数中添加基于紧密感知交并比的损失项，通过关注缺陷序列的完整性提高缺陷定位准确率；

(3)定位缺陷序列后，对序列进行随机采样，再利用基于2D时序差分的卷积网络提取缺陷图像帧的视觉和位移特征信息，从而识别缺陷类型；

所述采用双流网络和Transformer网络进行时序特征提取的具体步骤如下：

(1.1)输入原始时序图像，记作该序列包含l个图像帧，其中x_n表示该序列X的第n帧；

(1.2)将原始时序图像转换为作为双流网络的输入，其中为原始时序图像X的第t_n帧RGB图像，由空间流卷积网络处理；为第t_n帧和t_n+1帧RGB图像堆叠成的光流，由时间流卷积网络处理；和分别表示第t_n+1帧在点(u,v)上的水平和垂直位移矢量，看作卷积神经网络的两个输入通道；

(1.3)将双流网络提取的时序图像特征序列记作使用三层卷积组成边界评估网络，计算每一帧作为缺陷序列开始和结束帧的概率和并将时序图像的输入特征和每个时序位置对应的缺陷开始和结束的预测概率相乘并组合；

(1.4)为每一帧添加位置编码标记时序位置，并使用Transformer网络计算每一帧的全局自注意力权重；

(1.5)采用多层感知机预测包含缺陷的图像序列，输出开始和结束帧的位置；

所述(2)的具体步骤如下：

(2.1)在模型的训练过程中，首先需要将定位缺陷与真实缺陷两两匹配，计算区间误差作为损失值优化模型；在匹配过程中通过最大化目标函数计算最优匹配，目标函数如下：

其中l₁为严格匹配边界的L1目标函数，DIoU为距离交并比；

(2.2)将基于距离交并比的目标函数定义为：

其中IoU为两缺陷交并比，b和b^t分别代表定位缺陷和真实缺陷区间的中心点坐标，而ρ则表示计算两点间的距离，c为能同时覆盖定位缺陷和真实缺陷区间的最小时间区间的长度；

(2.3)最后缺陷定位任务的损失函数定义为：

其中L_bou为边界损失，用以衡量缺陷区间的起止帧与真实缺陷区间的偏差；L_pre为区间损失，用以衡量模型预测的缺陷区间准确性和完整性。

2.根据权利要求1所述的混凝土大坝缺陷时序图像智能识别方法，其特征在于，所述基于2D时序差分的卷积网络进行帧采样，提取缺陷图像帧的视觉和位移信息以识别缺陷类型，具体步骤如下：

(3.1)将提取到的缺陷序列分割为没有重叠的若干个等长片段，从每个片段中随机抽取一帧组成采样帧的集合；

(3.2)以每一个采样帧为中心，抽取前后若干帧进行堆叠操作，通过残差连接与当前帧融合，捕捉短期位移特征，使单个采样帧能够感知局部变化；

(3.3)使用多层感知机和softmax函数对采样的特征图像序列解码得到缺陷类别。

3.根据权利要求2所述的混凝土大坝缺陷时序图像智能识别方法，其特征在于，所有采样帧均由2D卷积神经网络提取特征，得到特征集合F＝[F₁,F₂,…,F_T]；采样帧所表示的运动信息为在特征中，采样帧F_t贡献视觉图像信息，特征堆叠H(x_t)贡献局部运动信息。