[发明专利]一种基于关键点的目标检测的特征融合方法

说明书

本发明公开了一种基于关键点的目标检测的特征融合方法，主要解决现有方法不能有效融合高层的语义信息和低层的位置信息、对小目标的检测效果不佳的问题。该方法包括特征提取模块、特征融合模块、热力图生成模块，后处理模块；其中，所述特征融合模块包括特征相加模块和特征拼接模块。通过上述设计，本发明通过特征相加模块和特征拼接模块在基于关键点的目标检测中将高层特征的语义信息与低层特征的位置信息有效进行融合，使得图像的多层特征图通过自顶向下和自底向上的连接能够很好地融合不同尺度的信息，极大增强特征表达能力。因此，适宜推广应用。

技术领域

本发明涉及目标检测算法技术领域，具体地说，是涉及一种基于关键点的目标检测的特征融合方法。

背景技术

目标检测的任务是找出图像中所有感兴趣的目标，确定其位置与大小。目前基于深度学习的目标检测算法主要分为双阶段和单阶段算法。双阶段检测算法分两步完成，首先获取一系列的候选区域，然后对候选区域进行分类和坐标回归，如RCNN系列。单阶段算法则是省略了获取候选区域这一步骤，直接对预先设定的锚框进行回归和定位，如YOLO，SSD等。他们的共同点是都需要预先定义锚框，典型的做法是通过特征金字塔得到多个不同分辨率的特征图，然后在每个特征图上设置多个不同比例和大小的锚框，然而锚框需要根据数据集中目标的分布手动设置，如果设置不合理会极大影响检测效果。

基于关键点的方法是目标检测中相对较新的范例，消除了对锚框的需求，采用编码解码的模式，只需要使用解码器最后一层特征图进行检测。通常是将输入图像输入到骨干网络得到缩小32倍的特征图，然后再将其上采样到相对于输入图像缩小4倍的特征图。其中上采样方法可以是直接反卷积扩大特征图的分辨率，或者通过特征金字塔使用双线性插值的方式扩大特征图的分辨率，将其与骨干网络提取的特征中相同分辨率的特征对应元素相加，最终得到一个相对于输入图像缩小4倍特征图用于检测。但是该方法存在如下缺陷：

(1)特征金字塔适用于基于锚框的目标检测方法，这类方法可以充分利用特征金字塔得到的多个不同分辨率的特征图。但是基于关键点的目标检测方法只使用了一层特征图，现有方法不能有效融合高层的语义信息和低层的位置信息得到一个同时具有丰富语义信息和位置信息的特征图。

(2)最后用于检测的特征图的分辨率为输入图像的四分之一，对小目标而言缩小4倍后在特征图中的信息已经微乎其微，导致小目标的检测效果不尽如人意。

发明内容

本发明的目的在于提供一种基于关键点的目标检测的特征融合方法，主要解决现有方法不能有效融合高层的语义信息和低层的位置信息、对小目标的检测效果不佳的问题。

为实现上述目的，本发明采用的技术方案如下：

一种基于关键点的目标检测的特征融合方法，包括特征提取模块、特征融合模块、热力图生成模块，后处理模块；

所述特征融合模块包括：

特征相加模块：用于将输入该模块的两个特征图缩放到相同的分辨率和通道数，并将缩放后的两个特征图的对应元素相加；

特征拼接模块：用于将输入该模块的两个或多个特征图缩放到相同的分辨率，但是通道数可以不同，然后将缩放后的两个特征图的通道维度叠加起来，并通过1*1卷积整合通道；

具体实现步骤如下：

(S1)将待检测的图片输入到特征提取模块，得到多个不同分辨率的第一特征图；

(S2)将得到的第一特征图输入到特征融合模块，通过特征融合模块将高层特征的语义信息与低层特征的位置信息有效融合，得到一个同时包含丰富的语义信息和位置信息的第二特征图；

(S3)将第二特征图输入到热力图生成模块同时结合特征融合模块拼接第一特征图中具有丰富位置信息的特征图，得到三个分别代表目标的位置，目标的大小和目标的偏移的热力图；