[发明专利]基于多模型集成的装配体变化检测方法、设备和介质

说明书

本发明涉及基于多模型集成的装配体变化检测方法，包括以下步骤：建立装配体的三维模型，对三维模型中各零件添加标签，设定若干个装配节点，获取各装配节点下的三维模型在不同视角下的深度图像，并获取各装配节点新增零件的变化类别标签；选取前后时刻两时刻不同视角下的两张深度图像作为训练样本；对训练样本依次经过特征提取、选取目标候选区域、特征信息对比、分类预测、语义分割，对检测模型进行训练，保存训练过程中相似度最优的模型参数，完成训练；获取待检测的装配体装配过程中前后两装配节点的深度图像，输入至训练好的检测模型中，输出装配过程中的变化零件的类别和图像。

技术领域

本发明涉及一种基于多模型集成的装配体变化检测方法、设备和介质，属于计算机视觉和智能制造技术领域。

背景技术

在机械类装配体装配过程中，需要按照给定的装配步骤依次进行组装。从多视角检测每个装配步骤新零部件，将有助于获取机械装配过程的相关信息，及时发现其中错误，进而实现错误快速定位，提高机械产品的生产效率，保障机械产品质量水平，对机械类装配体的装配过程智能检测具有重要研究价值。

图像变化检测方法能够根据两张不同时间、不同视角的图像，判断图像的状态差异。图像变化检测目前主要应用于卫星图像和航拍图像研究中，对于机械领域，尤其是机械类装配体装配过程领域，关于多视角装配过程变化检测的应用研究却很少。这主要是因为机械零件结构较为复杂，遮挡严重，零部件的颜色和纹理信息单调，难以对其装配过程进行变化检测，同时缺少对应的数据集。

图像变化检测方法从检测层次主要分为三类：像素级、特征级和目标级。

(1)基于像素级变化检测方法：该方法对两幅图像每个像素进行计算处理，然后根据每个像素的对比分析结果来检测变化。这种方法能够有效保留尽可能多的原始信息，具有其他方法所不具备的细节信息，但是这种方法效率较低，未考虑空间等特征属性影响。

(2)基于特征级变化检测方法：该方法采用一定的算法先从原始图像中提取特征信息(边角、形状、轮廓)，然后对这些特征信息进行综合分析，以此检测变化区域。这种方法运行效率较高，对特征属性的判断具有更高的可信度和准确性，从一定程度上减少了外界因素对结果的干扰。但是这种方法在特征提取过程中会出现信息的部分丢失，难以提供细微信息，依赖于特征提取的结果。

(3)基于目标级变化检测方法：该方法主要检测某些特定对象(比如道路、房屋等具有明确含义的目标)，该方法是在图像理解和图像识别的基础上进行的变化检测，它是一种基于目标模型的高层分析方法。这种方法的检测结果可直接应用，但是从图像中直接提取目标具有一定困难。

发明内容

为了解决上述现有技术中存在的问题，本发明提出了一种基于多模型集成的装配体变化检测方法，结合了当前变化检测的主流模式，同时采用像素、特征和目标三个检测层次作为本发明变化检测单元，能够在输出变化掩码位置的同时获得变化零部件的类别，获取了更多的装配监测相关信息。

本发明的技术方案如下：

技术方案一：

一种基于多模型集成的装配体变化检测方法，包括以下步骤：

建立数据集；建立装配体的三维模型，对三维模型中各零件添加标签，依据给定的装配体的装配步骤确定若干个装配节点，分别对各装配节点下的三维模型进行成像处理，获取各装配节点下的三维模型在不同视角下的深度图像，并根据零件的标签获取各装配节点新增零件的变化类别标签和变化掩码标签图像；