[发明专利]基于目标检测的多任务及临近信息融合的深度学习方法

权利要求书

1.基于目标检测的多任务及临近信息融合的深度学习方法，其特征在于，包括以下步骤：

输入经初始化带有真实框的图片，利用预训练好的卷积神经网络提取图像特征，并生成目标候选框；

将所述目标候选框经过区域候选网络，提取出目标预测框；

将目标预测框经过卷积层进行特征提取和经过池化层进行特征池化，再经过第一全连接层进行初步边框回归、目标预测框与真实框之间的方向预测、初步目标检测分类，得到包含经筛选后的目标预测框的初步检测结果；

将所述初步检测结果和目标候选框融合并进入ROI池化层，并通过第二全连接层来进行最终边框回归和最终目标检测分类，得到包含已分类图片的最终检测结果；

其中，所述初步目标检测分类和最终目标检测分类是利用一个目标预测框与其临近的其他目标预测框的信息关系而重新定义该目标预测框的置信度分数。

2.根据权利要求1所述的基于目标检测的多任务及临近信息融合的深度学习方法，其特征在于，所述目标预测框与真实框之间的方向预测包括以下步骤：将目标预测框的坐标与真实框的坐标对比，对目标预测框打标签。

3.根据权利要求2所述的基于目标检测的多任务及临近信息融合的深度学习方法，其特征在于：所述标签的含义为目标预测框相对于真实框的位置移动；所述标签包括Gl、Gr、Gt和Gd，分别对应目标预测框的左边界、右边界、下边界和上边界。

4.根据权利要求3所述的基于目标检测的多任务及临近信息融合的深度学习方法，其特征在于：所述标签Gl或Gr对应的含义包括“向左移”、“向右移”、“停在此处”以及“该目标预测框没有目标”；所述标签Gt或Gd对应的含义包括“向上移”、“向下移”、“停在此处”以及“该目标预测框没有目标”。

5.根据权利要求4所述的基于目标检测的多任务及临近信息融合的深度学习方法，其特征在于，所述初步目标检测分类和最终目标检测分类具体包括以下步骤：

经过目标预测框与真实框之间的方向预测后，结合目标预测框的坐标与其对应的四个标签，得到一组其临近的目标预测框；

对比目标预测框与其临近的目标预测框的位置信息和标签，结果一致则该目标预测框的置信度分数不变，结果不一致则该目标预测框的置信度分数减少；

当遍历完成后，应用NMS算法得到最终的结果。

6.根据权利要求1所述的基于目标检测的多任务及临近信息融合的深度学习方法，其特征在于：所述初步边框回归、目标预测框与真实框之间的方向预测、初步目标检测分类实现多任务输出，共享网络参数。

7.根据权利要求1所述的基于目标检测的多任务及临近信息融合的深度学习方法，其特征在于：所述最终边框回归和最终目标检测分类实现多任务输出，共享网络参数。

8.根据权利要求6或7所述的基于目标检测的多任务及临近信息融合的深度学习方法，其特征在于：所述网络参数包括真实框的分类和真实框的边框回归目标。

9.根据权利要求1所述的基于目标检测的多任务及临近信息融合的深度学习方法，其特征在于：所述卷积神经网络是ResNet101网络。