[发明专利]基于注意力机制的装配体变化检测方法、设备和介质

权利要求书

1.一种基于注意力机制的装配体变化检测方法，其特征在于，包括以下步骤：

建立数据集；建立装配体的三维模型，对三维模型中各零件添加标签，依据给定的装配体的装配步骤确定若干个装配节点，分别对各装配节点下的三维模型进行成像处理，获取各装配节点下的三维模型在不同视角下的深度图像，并根据零件的标签获取各装配节点新增零件的变化标签图像；

训练检测模型；选取前后两相邻装配节点的三维模型在不同视角下的两张深度图像作为训练样本；分别对两深度图像进行语义分割获得语义图像，将两语义图像与对应的深度图像进行像素融合，得到两张融合图像；分别对两张融合图像进行特征提取，获取对应的两张初始特征图；通过注意力机制分别收集两张初始特征图的上下文信息，并根据上下文信息捕获初始特征图的全局位置依赖性，得到对应的两张注意力特征图；计算两张注意力特征图之间的欧式距离，并生成特征距离图，根据特征距离图输出变化图像；定义损失函数计算变化图像与变化标签图像之间的相似度，不断选取训练样本对检测模型进行训练，保存训练过程中相似度最优的模型参数，完成训练；

变化检测；获取待检测的装配体装配过程中前后两装配节点的深度图像，输入至训练好的检测模型中，输出装配过程中装配体新增零件的变化图像；

在所述对两张融合图像进行特征提取，获取对应的两张初始特征图的步骤中，特征提取的方法具体为：

对输入的融合图像进行3×3卷积，利用RepVGG分类网络的四个stage阶段提取输入图像的特征；

在RepVGG分类网络的每个stage阶段后嵌入注意力机制，分别得到四组特征映射，分别对四组特征映射进行1×1卷积后，再将特征映射的通道尺寸都转换为P1，P1设定为前两组特征映射的通道尺寸平均值；

将后三个stage阶段特征映射的特征图尺寸统一上采样为第一个stage阶段的特征图尺寸大小，对得到的四组特征图进行通道的串联融合，并将融合后的特征图依次进行3×3卷积和1×1卷积获得初始特征图；

所述损失函数具体为：

其中，d＝||a_n-b_n||₂，表示两个训练样本的映射向量之间的欧式距离，y为通过变化标签图像获取的标签值，y＝1代表相似，y＝0则代表不相似，N为训练样本像素点的个数，margin为人为设定的阈值。

2.根据权利要求1所述的一种基于注意力机制的装配体变化检测方法，其特征在于，在所述RepVGG分类网络中嵌入的注意力机制与所述收集两张初始特征图的上下文信息步骤中使用的注意力机制相同，该注意力机制包括两个阶段：

在第一个阶段，通过自注意力算法，在保存原有特征信息的情况下收集特征信息水平和垂直方向的上下文信息，得到原有特征信息的横纵交叉路径；

在第二个阶段，再次通过自注意力算法，从所述横纵交叉路径获取其他上下文信息，得到特征图的全局位置依赖性。

3.根据权利要求1所述的一种基于注意力机制的装配体变化检测方法，其特征在于，所述计算两张注意力特征图之间的欧式距离，并生成特征距离图，根据特征距离图输出变化图像的具体步骤为：

首先通过双线性插值将两张输入的注意力特征图的尺寸调整为与最初输入的深度图像的尺寸大小相同；

计算尺寸调整后的两张注意力特征图之间的欧式距离，并生成特征距离图；

根据特征距离图中距离信息，设定变化阈值，通过变化阈值和距离信息将深度图像区域划分为变化区域和未变区域，据此输出后一装配节点相对于前一装配节点的变化图像。

4.一种基于注意力机制的装配体变化检测设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至3任一项所述的一种基于注意力机制的装配体变化检测方法。

5.一种基于注意力机制的装配体变化检测介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述的一种基于注意力机制的装配体变化检测方法。