[发明专利]一种多模态多任务车间目标识别方法

说明书

本发明公开了一种多模态多任务车间目标识别方法，包括构建样本数据集，其中的数据样本包含一组彩色图片和深度图片，且进行了目标检测级别与实例分割级别的标注；构建多模态多任务车间目标识别网络；多模态多任务车间目标识别网络的训练；多模态多任务车间目标识别网络任务识别。本发明构建多模态多任务车间目标识别网络中，编码部分采用两个ResNet50主干网络，在两个ResNet50主干网络间设置了四个融合模块，解码部分采用2个任务分支，在两个任务分之间设置了三个特征共享模块。本发明针对车间场景中色彩相似目标具有良好的识别精度，可实现同一场景下的实例分割与目标检测。

技术领域

本发明涉及一种图像处理方法，尤其涉及一种多模态多任务车间目标识别方法。

背景技术

现有车间场景目标识别网络主要采用单一主干网络的形式，其利用主干网络对RGB图像进行特征提取，并传入解码网络中进行最终结果的预测。其结构如说明书附图的图1所示。故现有车间场景目标识别技术，主要采用单一任务模式，其利用主干网络传入的特征进行单一任务的推理。

这就存在以下缺陷：

1、由于现有车间场景目标识别技术主要采用单一模态，即仅利用RGB模态特征进行场景目标识别，但是车间场景中存在大量色彩外形特征相似的机床目标，这对于仅利用RGB单一模态的识别网络是难以识别的。

2、现有车间场景目标识别技术主要采用单一任务模式，其同时无法兼顾车间场景中同时进行目标检测与实例分割任务。如需同时进行两项任务，则需要同时对两个网络进行推理，这对于车间场景下低计算资源条件是难以满足的。

发明内容

本发明的目的就在于提供一种解决上述问题，能对车间场景中色彩相识目标的准确识别、车间场景下目标检测任务与实例分割任务的并行执行的，一种多模态多任务车间目标识别方法。

为了实现上述目的，本发明采用的技术方案是这样的：一种多模态多任务车间目标识别方法，包括以下步骤；

（1）构建样本数据集；

用深度相机对车间现场进行拍摄采集，每次拍摄得到一组对应的彩色图片和深度图片；

确定目标的类别，所述目标的类别包括工人、车床和运料机器人；

在彩色图片和深度图片上，进行目标检测级别与实例分割级别的标注，获得目标检测的真实框和实例分割的真实实例掩码；

将标注后的一组彩色图片和深度图片，作为一数据样本；

（2）构建多模态多任务车间目标识别网络；

所述多模态多任务车间目标识别网络包括编码模块和解码模块；

所述编码模块包括两个ResNet50主干网络，所述ResNet50主干网络从输入端到输出端分为五个阶段，分别为第一阶段到第五阶段，并对应输出第一特征向量到第五特征向量；

两个ResNet50主干网络分别输入标注后的彩色图片和标注后的深度图片，在两个第二阶段间、两个第三阶段间、两个第四阶段、两个第五阶段间，分别设有一融合模块，从前到后分别为第一个到第四个融合模块，其中前三个融合模块，其输入端连接两个上一阶段的输出端，输出端分为两路，分别与两个上一阶段的输出端进行加和后，送入两个下一阶段；

第四个融合模块，输入端连接两个第五阶段的输出端，输出端分为两路，送入解码模块中；

所述融合模块用于将输入的两个特征向量进行特征融合并输出；

所述解码模块用于将编码模块的输出，进行目标检测和实例分割，输出目标检测结果和实例分割结果；

（3）多模态多任务车间目标识别网络的训练；

将样本数据集中的数据样本输入多模态多任务车间目标识别网络，进行目标检测和实例分割，并在在第一解码分支中，以该数据样本中目标对应的真实框为期望输出，在第二解码分支中，以该数据样本中实例分割的真实实例掩码为期望输出，进行训练直至模型收敛；

（4）多模态多任务车间目标识别网络任务识别；