[发明专利]一种基于预测框误差多阶段回环处理的目标检测方法

说明书

本发明提供了一种基于预测框误差多阶段回环处理的目标检测方法，通过对中间层和双胞层所产生损失的反向传播，调整感兴趣区域，对预测框回环处理，获得更加鲁棒的特征，从而得到准确的预测边框，提高了候选边框的质量，有助于改善目标识别边框定位准确性。通过边框位置精调，使得感兴趣区域更加完整恰当地包含目标，以获得更加逼近目标本质的特征，从而提高目标类别判定精度，提高边框标记准确率和目标识别准确率，实现了网络结构统一、简化操作流程及端到端的训练与检测。

技术领域

本发明涉及目标检测领域，尤其是一种基于区域特征提取的方法。

背景技术

在复杂背景下的各种视角变化下的目标都能快速准确地检测是计算机视觉领域中的一项重要任务。近年来出现了许多具有代表性的目标检测算法，如RCNN、Fast RCNN、Faster RCNN、YOLO、SSD等，它们都是基于感兴趣区域卷积神经网络特征运用于目标预测模型实现的。感兴趣区域(ROI)的选择有很多种方式，RCNN通过选择性搜索(SS)方法获得ROI，Fast RCNN通过空间金字塔池化(SSP)获得ROI，Faster RCNN通过锚框(anchor)获得ROI，YOLO和SSD通过图像上直接划分网络确定ROI。ROI为区域候选框生成提供特征信息，决定候选框和目标预测的质量。

目标预测模型包括目标类别预测和目标边框预测，所有目标检测方法都能提供预测边框能力。最典型的预测框方法是区域候选网络(RPN)，类别和边框预测同时进行。RPN是Faster RCNN所采用的候选边框生成方法，为下游的Fast RCNN检测子提供候选边框。候选框是从预测框中筛选得到的，预测框就是通过边框预测模型得到的。ROI区域实际为预测框生成模型提供特征向量，预测框生成方法也影响着候选框质量。

Faster RCNN的ROI的产生，是由高维图像降维到低维的特征图(feature map)，再将低维特征图上每一特征点都映射原图中，形成锚点；再以锚点为中心按一定尺度和比例画框，就会得到锚框。锚框确定的局部区域就是ROI。

因为最后的卷积特征图是多通道的，通过滑窗、线性整流(ReLU)和池化等处理获得一组多维特征，这一过程称为中间层。所得的多维特征对应于特征图上的一点，就是对应原图中的ROI区域的特征描述。

将多维特征向量(VGG16为512维)输入给RPN的双胞层(边框回归层和边框分类层)，边框回归层可以预测该特征向量对应ROI区域的调整量。利用该调整量来调整对应锚框形状(锚框中心偏移及长宽变化)，就会得到预测框。边框分类层给出预测框的类别，预测原图上对应区域有目标的可能性。预测框类别分可能有目标(前景)和可能没有目标(背景)的二分类，是一个概率值。

得到预测框后，去除背景边框，再去除与GT框重叠度IOU不太大的前景边框，最后剩下的边框作为候选框(proposal)送给下游的fast RCNN检测子处理。

fast RCNN检测子主要包括与RPN共享的卷积网络、ROI池化层、全连接层和双胞层(softmax分类层和边框回归层)等网络层。在Fast RCNN检测子网络中，将前面所得的候选框覆盖在原图中以确定ROI区域，在共享卷积网络最后层特征图上找到ROI的映射区域，形成特征向量，经过全连接层和双胞网络层处理，得到最终的边框。

总之，由局部特征检测识别目标整体，犹如窥斑见豹，其中最为重要的是从特征图提取特征得到准确的预测框。要从预测框拨冗取精，才能提高目标命中率。在过滤掉的大部分预测框中，有些与目标框差之毫厘而被摒弃，而最终有损目标检测精度。获取高价值的预测框至关重要的因素，尽量减少重复架构，使预测框生成误差在整个目标检测中占比最小。