[发明专利]基于目标检测的多任务及临近信息融合的深度学习方法

说明书

本发明公开了基于目标检测的多任务及临近信息融合的深度学习方法，包括输入图片，利用卷积神经网络提取图像特征，并生成目标候选框；将所述目标候选框经过区域候选网络，提取出目标预测框；将目标预测框进行特征提取和特征池化，再进行边框回归、方向预测、目标检测分类，得到初步检测结果；将初步检测结果与目标候选框融合并进入RO I池化层和通过第二全连接层，得到最终检测结果；其中，目标检测分类是利用一个目标预测框与其临近的其他目标预测框的信息关系而重新定义该目标预测框的置信度分数；算法采用多任务输出模式。本发明在提高目标检测的速度的同时，确保了目标检测的准确性，达到实时目标检测的要求。

技术领域

本发明涉及图像信息处理领域，特别是基于目标检测的多任务及临近信息融合的深度学习方法。

背景技术

目前，目标检测一直是视觉计算应用的一个基础难题，应用于交通监测、智能驾驶等领域。而现实条件中，一方面由于目标的多样性如在道路上要检测车辆，行人，数目，栏杆等，目标的子类别数量众多如车辆中有公车，小汽车，卡车，自行车等，另一方面目标存在多种角度，不同的遮挡情况和目标显示的局部大小，给目标检测带来了巨大的难度。目标检测目前仍是一个非常具有挑战性的领域，而且在要在实时情况下做到目标检测、识别、并进行追踪，对于检测精度和检测速度都有相当高的要求。

从RCNN即Regions with CNN features开始，将卷积神经网络引入到目标检测领域，大大提高了目标检测效果；随后，SppNET、Fast-RCNN和Faster-RCNN的提出，进一步加速卷积神经网络在目标检测领域的应用，但同时也存在准确率与识别速度的矛盾，因多次重复的特征提取和计算而降低识别速度，同时需要大容量存储空间。此外，还有一种YOLO即You only look once的结构，识别速度快，但是以牺牲了一定准确率来换取的。提升目标检测的准确度与速度以使其能满足实时目标检测要求的问题迫在眉睫。

发明内容

为解决上述问题，本发明的目的在于提供基于目标检测的多任务及临近信息融合的深度学习方法，提升目标检测的准确度与速度以满足实时目标检测。

本发明解决其问题所采用的技术方案是：

基于目标检测的多任务及临近信息融合的深度学习方法，包括以下步骤：

输入经初始化带有真实框的图片，利用预训练好的卷积神经网络提取图像特征，并生成目标候选框；将所述目标候选框经过区域候选网络，提取出目标预测框；将目标预测框经过卷积层进行特征提取和经过池化层进行特征池化，再经过第一全连接层进行初步边框回归、目标预测框与真实框之间的方向预测、初步目标检测分类，得到包含经筛选后的目标预测框的初步检测结果；将所述初步检测结果和目标候选框融合并进入ROI池化层，并通过第二全连接层来进行最终边框回归和最终目标检测分类，得到包含已分类图片的最终检测结果；

其中，所述初步目标检测分类和最终目标检测分类是利用一个目标预测框与其临近的其他目标预测框的信息关系而重新定义该目标预测框的置信度分数。

进一步，所述目标预测框与真实框之间的方向预测包括以下步骤：将目标预测框的坐标与真实框的坐标对比，对目标预测框打标签。

此外，所述标签的含义为目标预测框相对于真实框的位置移动；所述标签包括Gl、Gr、Gt和Gd，分别对应目标预测框的左边界、右边界、下边界和上边界。

进一步，所述标签Gl或Gr对应的含义包括“向左移”、“向右移”、“停在此处”以及“该目标预测框没有目标”；所述标签Gt或Gd对应的含义包括“向上移”、“向下移”、“停在此处”以及“该目标预测框没有目标”。