[发明专利]基于注意力机制的装配体变化检测方法、设备和介质

说明书

本发明涉及一种基于注意力机制的装配体变化检测方法，包括以下步骤：建立装配体的三维模型，对三维模型中各零件添加标签，设定若干个装配节点，获取各装配节点下的三维模型在不同视角下的深度图像，并获取各装配节点新增零件的变化标签图像；选取前后两时刻不同视角下的两张深度图像作为训练样本；将训练样本依次经过语义融合、特征提取、注意力机制处理以及度量学习，对检测模型进行训练，不断选取训练样本对检测模型进行训练，保存训练过程中相似度最优的模型参数，完成训练；获取待检测的装配体装配过程中前后两装配节点的深度图像，输入至训练好的检测模型中，输出装配过程中装配体新增零件的变化图像。

技术领域

本发明涉及基于注意力机制的装配体多视角变化检测方法，属于计算机视觉和智能制造技术领域。

背景技术

计算机视觉对智能制造业升级具有重要意义，尤其是深度学习网络的大量涌现促进了现代工业的发展。在大规模个性化定制生产组装过程中，产品类型的不断变化将增加组装产品的难度。在复杂装配体零部件装配过程中，若未能及时检测到新装配的零部件正确与否，则会影响到机械产品的质量和装配效率。因此，在机械类装配体装配过程中，从多视角检测每个装配步骤新装配零部件，将有助于获取机械装配过程的相关信息，并及时发现其中错误，进而实现错误快速定位，提高机械产品的生产效率，保障机械产品质量水平，对机械类装配体的装配过程智能检测具有重要研究价值。

图像变化检测能够根据两张不同时间、不同视角的图像，判断图像状态的差异。图像变化检测目前主要应用于卫星图像和航拍图像研究中，对农业调查、自然灾害检测、森林资源监测等方面具有重要实用价值。传统的变化检测方法主要包含三步流程：1)输入两张需要检测分析的图像；2)使用差异算子或其他方法获得差异图；3)分析差异图的数据差异获得变化区域。对于传统的变化检测方法，性能的好坏依赖于差异图的形成，而差异图的形成又有较大的噪声干扰，所以无法得到较高的精度。

当前，随着深度学习技术蓬勃发展，深度学习已经被引入到变化检测中，提出了许多基于深度学习的变化检测算法，并取得了良好效果。但是在这些方法中，主要是针对遥感卫星图像和航拍图像相似视角的变化检测。目前，对于机械类装配体的多视角变化检测的研究很少，这主要是因为相对于卫星图像，机械零件结构较为复杂、遮挡严重、视角变化大、零部件的颜色和纹理信息单一等特点，难以对其装配过程进行变化检测，同时缺少对应的数据集。

发明内容

为了解决上述现有技术中存在的问题，本发明提出了一种基于注意力机制的装配体变化检测方法、设备和介质，能够在装配体装配过程中进行变化检测。

本发明的技术方案如下：

技术方案一：

一种基于注意力机制的装配体变化检测方法，包括以下步骤：

建立数据集；建立装配体的三维模型，对三维模型中各零件添加标签，依据给定的装配体的装配步骤确定若干个装配节点，分别对各装配节点下的三维模型进行成像处理，获取各装配节点下的三维模型在不同视角下的深度图像，并根据零件的标签获取各装配节点新增零件的变化标签图像；

训练检测模型；选取前后两相邻装配节点的三维模型在不同视角下的两张深度图像作为训练样本；分别对两深度图像进行语义分割获得语义图像，将两语义图像与对应的深度图像进行像素融合，得到两张融合图像；分别对两张融合图像进行特征提取，获取对应的两张初始特征图；通过注意力机制分别收集两张初始特征图的上下文信息，并根据上下文信息捕获初始特征图的全局位置依赖性，得到对应的两张注意力特征图；计算两张注意力特征图之间的欧式距离，并生成特征距离图，根据特征距离图输出变化图像；定义损失函数计算变化图像与变化标签图像之间的相似度，不断选取训练样本对检测模型进行训练，保存训练过程中相似度最优的模型参数，完成训练；

变化检测；获取待检测的装配体装配过程中前后两装配节点的深度图像，输入至训练好的检测模型中，输出装配过程中装配体新增零件的变化图像。