[发明专利]训练多任务目标检测模型、多任务目标检测的方法及系统

说明书

本发明公开了一种训练多任务目标检测模型、多任务目标检测的方法及系统，训练方法包括：利用标注好边框和类型标签的训练集训练主干网络；将该主干网络作为检测模型的基础网络，利用多尺度特征图、标注边界框及类型标签对检测模型进行训练得到训练好的检测枝干，同时微调主干网络；利用微调后的主干网络提取全图特征，使用目标对象特征提取模块结合标注的真实边界框在全图特征上提取目标特征图；利用对象特征图及分类标签训练不同任务模块。本发明利用同任务的主干网络提取出的全图特征，避免重复特征抽取，提高运算效率；利用不同子任务的数据训练主干网络提高特征的表达能力，在不损失精度的同时减少总参数量和计算量有助于子任务准确率的提升。

技术领域

本发明涉及目标检测领域，具体涉及一种训练多任务目标检测模型、多任务目标检测的方法及系统。

背景技术

目标检测作为计算机视觉领域的基本任务之一，拥有广大的应用前景。其中，最经典的网络模型当属R-CNN。R-CNN将目标检测任务分为两个阶段，预先提取一系列较可能是物体的候选区域，之后仅在这些候选区域上提取特征，进行分类判断。随后的Fast R-CNN和Faster R-CNN在其基础上进行了多方面优化，检测速度显著提升。然而这种两阶段检测算法在速度上仍然不能满足实时性的要求，由此以YOLO和SSD为代表的单阶段检测算法诞生。YOLO首次将物体检测当作回归问题求解，基于一个端到端的网络，经过一次推理便能得到所有物体的位置和类别信息。SSD结合了YOLO中的回归思想和Faster R-CNN的区域生成网络中锚定框机制，使用多尺度特征进行回归，解决了YOLO中小物体检测效果不好的问题，保证了窗口预测的准确性，同时维持了YOLO速度快的特性。

现有的多任务深度学习方法，多为对每个任务单独设计一个深度卷积网络结构，输入图片，输出对应标签或关键点位置信息。然而现有的方法具有以下问题：每个任务独立一个深度卷积网络，网络间没有共享的参数，总参数量和计算量大，模型推理耗时长。

发明内容

因此，本发明提供的一种训练多任务目标检测模型、多任务目标检测的方法及系统，克服了现有技术中的目标检测模型总参数量和计算量大，模型推理耗时长缺陷。

第一方面，本发明实施例提供训练多任务目标检测模型的方法，包括如下步骤：利用标注好边框和对应目标类型标签的训练数据集及对主干网络进行训练，得到训练好的主干网络；利用训练好的主干网络作为检测模型的基础网络，利用图片的多尺度特征图、标注边界框以及对应目标类型标签对检测模型进行训练，得到训练好的检测枝干，同时微调主干网络；利用微调后的主干网络提取训练数据集的全图特征，使用目标对象特征提取模块结合标注的真实边界框在全图特征上提取目标对象特征图；针对不同检测任务，分别设置轻量化的深度卷积网络作为任务模块，利用所述目标对象特征图以及标注好的对应不同任务不同目标的分类标签，依次训练不同任务模块，得到训练好的任务模块；将所述训练好的主干网络、检测枝干及任务模块组成所述多任务目标检测模型。

在一实施例中，若图片中出现多个不同目标对象，则对图片进行拷贝，拷贝次数等于图片中出现的目标类型个数，拷贝后的每张图片分别标注不同目标类型标签，全部用于主干网络的训练。

在一实施例中，根据训练数据集标注的边界框与图片大小的关系设置不同尺度特征图使用的锚框，将标注好边界框和对应目标类型标签的训练数据集输入到训练好的主干网络中得到图片的多尺度特征图。

在一实施例中，所述利用标注好边框和对应目标类型标签的训练数据集及对主干网络进行训练，得到训练好的主干网络的步骤之前，还包括：获取多任务目标检测任务中需要进行检测的目标对象，针对不同的检测对象标注不同的目标类别标签，并定义标注规则；在图片集上使用边界框标注所有任务关注的目标对象，标记对应的目标类型标签。

在一实施例中，检测的目标对象包括：人物头部和手部，检测任务包括：人物的表情、头部朝向以及手势姿态。