[发明专利]一种多模态多任务车间目标识别方法

权利要求书

1.一种多模态多任务车间目标识别方法，其特征在于：包括以下步骤；

（1）构建样本数据集；

用深度相机对车间现场进行拍摄采集，每次拍摄得到一组对应的彩色图片和深度图片；

确定目标的类别，所述目标的类别包括工人、车床和运料机器人；

在彩色图片和深度图片上，进行目标检测级别与实例分割级别的标注，获得目标检测的真实框和实例分割的真实实例掩码；

将标注后的一组彩色图片和深度图片，作为一数据样本；

（2）构建多模态多任务车间目标识别网络；

所述多模态多任务车间目标识别网络包括编码模块和解码模块；

所述编码模块包括两个ResNet50主干网络，所述ResNet50主干网络从输入端到输出端分为五个阶段，分别为第一阶段到第五阶段，并对应输出第一特征向量到第五特征向量；

两个ResNet50主干网络分别输入标注后的彩色图片和标注后的深度图片，在两个第二阶段间、两个第三阶段间、两个第四阶段、两个第五阶段间，分别设有一融合模块，从前到后分别为第一个到第四个融合模块，其中前三个融合模块，其输入端连接两个上一阶段的输出端，输出端分为两路，分别与两个上一阶段的输出端进行加和后，送入两个下一阶段；

第四个融合模块，输入端连接两个第五阶段的输出端，输出端分为两路，送入解码模块中；

所述融合模块用于将输入的两个特征向量进行特征融合并输出；

所述解码模块用于将编码模块的输出，进行目标检测和实例分割，输出目标检测结果和实例分割结果；

（3）多模态多任务车间目标识别网络的训练；

将样本数据集中的数据样本输入多模态多任务车间目标识别网络，进行目标检测和实例分割，并在在第一解码分支中，以该数据样本中目标对应的真实框为期望输出，在第二解码分支中，以该数据样本中实例分割的真实实例掩码为期望输出，进行训练直至模型收敛；

（4）多模态多任务车间目标识别网络任务识别；

获取车间内待测的一组彩色图片与深度图片，送入多模态多任务车间目标识别网络中，分别输出其中目标对应的目标预测框、和预测实例掩码。

2.根据权利要求1所述的一种多模态多任务车间目标识别方法，其特征在于：所述融合模块的融合方法为：

（2.1）彩色图片为RGB^C×H×W，深度图片为Depth^C×H×W，其中C、H和W分别为对应图片的通道数、高和宽；

（2.2）将彩色图片和深度图片按道维度进行拼接，生成第一拼接特征RGBD^2C×H×W，再按通道维度拆分为S个子特征块，分别标记为X₀~X_S-1，每个子特征块的维度为；

（2.3）对每个子特征块，分别进行卷积核大小不同的卷积操作，得到子特征向量，其中，第i个子特征块X_i根据下式进行卷积操作；

F_i=Conv_i（X_i），

式中，F_i为X_i对应的子特征向量，Conv表示卷积操作，i=0~S；

（2.4）对S个子特征向量进行全局平均池化操作，降至S×1×1维度大小，得到S个权重向量；

（2.5）将S个权重向量分别进行归一化处理，得到S个注意力向量；

（2.6）最后再利用获得的注意力向量与第一拼接特征RGBD进行元素乘积，得到融合后特征。