[发明专利]训练多任务目标检测模型、多任务目标检测的方法及系统

权利要求书

1.一种训练多任务目标检测模型的方法，其特征在于，包括如下步骤：

利用标注好边框和对应目标类型标签的训练数据集及对主干网络进行训练，得到训练好的主干网络；

利用训练好的主干网络作为检测模型的基础网络，利用图片的多尺度特征图、标注边界框以及对应目标类型标签对检测模型进行训练，得到训练好的检测枝干，同时微调主干网络；

利用微调后的主干网络提取训练数据集的全图特征，使用目标对象特征提取模块结合标注的真实边界框在全图特征上提取目标对象特征图；

针对不同检测任务，分别设置轻量化的深度卷积网络作为任务模块，利用所述目标对象特征图以及标注好的对应不同任务不同目标的分类标签，依次训练不同任务模块，得到训练好的任务模块；

将所述训练好的主干网络、检测枝干及任务模块组成所述多任务目标检测模型。

2.根据权利要求1所述的训练多任务目标检测模型的方法，其特征在于，若图片中出现多个不同目标对象，则对图片进行拷贝，拷贝次数等于图片中出现的目标类型个数，拷贝后的每张图片分别标注不同目标类型标签，全部用于主干网络的训练。

3.根据权利要求1所述的训练多任务目标检测模型的方法，其特征在于，根据训练数据集标注的边界框与图片大小的关系设置不同尺度特征图使用的锚框，将标注好边界框和对应目标类型标签的训练数据集输入到训练好的主干网络中得到图片的多尺度特征图。

4.根据权利要求1所述的训练多任务目标检测模型的方法，其特征在于，所述利用标注好边框和对应目标类型标签的训练数据集及对主干网络进行训练，得到训练好的主干网络的步骤之前，还包括：

获取多任务目标检测任务中需要进行检测的目标对象，针对不同的检测对象标注不同的目标类别标签，并定义标注规则；

在图片集上使用边界框标注所有任务关注的目标对象，标记对应的目标类型标签。

5.根据权利要求1所述的训练多任务目标检测模型的方法，其特征在于，检测的目标对象包括：人物头部和手部，检测任务包括：人物的表情、头部朝向以及手势姿态。

6.根据权利要求5所述的训练多任务目标检测模型的方法，其特征在于，

表情识别任务的分类标签包括平静、开心、生气、伤心；头部朝向识别任务的分类标签包含正对、抬头、低头、左转、右转；手势姿态的分类标签包含五指张开、握拳及其他。

7.一种多任务目标检测的方法，其特征在于，包括：

获取待进行目标检测的图片；

将所述待进行目标检测的图片输入根据权利要求1-6任一所述训练多任务目标检测模型的方法得到的多任务目标检测模型中，检测并识别图片中的目标对象。

8.根据权利要求7所述多任务目标检测的方法，其特征在于，

检测的目标对象包括人物头部和手部，检测任务包括人物的表情、头部朝向以及手势姿态。

9.根据权利要求8所述多任务目标检测的方法，其特征在于，

将待进行多任务目标检测的图片输入主干网络提取图片的多尺度特征图，并选择对分类结果贡献最高的特征图作为全图特征；

利用检测干支对所述多尺度特征图进行回归，预测目标对象的位置；

根据预测目标对象的位置信息，在全图特征上将目标对象的特征图截取出来，并缩放到预设尺寸；

利用任务模块对目标对象特征图进行分类，识别人物的表情、头部朝向以及手势姿态。