[发明专利]基于多模型集成的装配体变化检测方法、设备和介质

权利要求书

1.一种基于多模型集成的装配体变化检测方法，其特征在于，包括以下步骤：

建立数据集；建立装配体的三维模型，对三维模型中各零件添加标签，依据给定的装配体的装配步骤确定若干个装配节点，分别对各装配节点下的三维模型进行成像处理，获取各装配节点下的三维模型在不同视角下的深度图像，并根据零件的标签获取各装配节点新增零件的变化类别标签和变化掩码标签图像；

训练检测模型；选取前后时刻两相邻装配节点的三维模型在不同视角下的两张深度图像作为训练样本；对两张深度图像分别进行特征提取，获取对应的两张特征图像；利用区域候选网络扫描特征图像，寻找存在零件的感兴趣区域，生成对应特征图像中每个零件的若干个目标候选框；对两张特征图像每个零件的目标候选框内的特征信息进行匹配，根据特征信息的差异确定变化区域，并生成变化框；将变化框与后一时刻的深度图像进行对应，获取变化特征图；建立装配体每个零件的特征信息与类别一一对应的类别映射关系库，通过所述变化特征图中的特征信息从所述类别映射关系库中获得预测变化零件类别；对所述变化特征图进行语义分割，提取变化零件的边缘信息，获取像素级的预测变化掩码图像；通过变化类别标签和变化掩码标签图像分别对预测变化零件类别和预测变化掩码图像进行验证，不断选取训练样本对检测模型进行迭代更新，完成训练；

变化检测；获取待检测的装配体装配过程中前后两装配节点的深度图像，输入至训练好的检测模型中，输出装配过程中的变化零件的类别。

2.根据权利要求1所述的一种基于多模型集成的装配体变化检测方法，其特征在于，所述利用区域候选网络扫描特征图像，寻找存在零件的感兴趣区域，生成对应特征图像中每个零件的若干个目标候选框步骤具体为：

基于区域候选网络，预测特征图像中存在零件的感兴趣区域，使用锚框生成高质量的目标建议区域；

采用非极大值抑制算法对获取的同一目标零件的多个目标建议区域按照得分进行排序，保留最高分数的目标建议区域作为目标候选框。

3.根据权利要求1所述的一种基于多模型集成的装配体变化检测方法，其特征在于，所述将变化框与后一时刻的深度图像进行对应，获取变化特征图步骤具体为：

通过双线性插值将变化框在特征图像中的位置信息转换为后一时刻的深度图像上对应区域的像素坐标位置，使转换后的变化框与深度图像对应区域的尺寸对齐，获取变化特征图。

4.根据权利要求1所述的一种基于多模型集成的装配体变化检测方法，其特征在于，在所述检测模型的训练过程中，定义损失函数计算预测变化零件类别与变化类别标签的相似度，基于相似度对检测模型进行迭代更新；所述损失函数定义如下；

其中，φ(Aⁱ)是对应特征图像中的特征信息，是需要学习的参数，是类别映射关系库中的变化零件类别的标签值。

5.一种基于多模型集成的装配体变化检测设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4任一项所述的一种基于多模型集成的装配体变化检测检测方法。

6.一种基于多模型集成的装配体变化检测介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的一种基于多模型集成的装配体变化检测方法。