[发明专利]一种基于多尺度特征融合的全局特征对齐目标检测方法

说明书

本发明公开了一种基于多尺度特征融合的全局特征对齐特征对齐目标检测技术。该发明可以进一步增强以Faster R‑CNN为代表的目标检测算法在不同应用场景下的泛化性能。以往基于全局特征对齐的目标检测技术通常存在两个问题：一是特征对齐尺度单一，且未减小由目标尺寸大小不同带来的域间差异；二是以往全局特征对齐在前景目标特征的同时，强制对齐了背景特征，影响特征对齐效果。本发明提出的基于多尺度特征融合的全局特征对齐特征对齐目标检测方法，将不同尺度的特征图进行融合，使得不同尺寸大小的目标特征一同对齐，并进行背景抑制，减少背景噪声影响，将网络注意力更多放在前景目标特征对齐上。

技术领域

本发明涉及深度学习中的迁移学习领域，针对特征迁移这一迁移学习的子类技术在目标检测任务中的应用。

背景技术

受人类在学习知识的过程中举一反三能力的启发，迁移学习将从源域数据集中学习到“知识”迁移到目标域中，使得在源域数据集上训练好的目标检测网络在应用到与源域特征空间不同的目标域时，只需要付出较小的代价便可以提升目标检测算法的泛化性能。迁移学习迁移的“知识”是源域和目标域中共同拥有的。在目前的迁移学习算法中，特征对齐方法(域适应)的效果是最好的，其核心思想在于将域间差异减小，使得目标检测网络的特征提取器提取出的特征具有域不变性，即特征提取器能够忽略源域和目标域在背景等方面的差异而提取两域中共同的特征部分。现有的基于特征对齐的目标检测算法都采用Faster R-CNN网络作为目标检测框架，且大都从全局特征对齐和局部特征对齐两个方向减少域间差异。其中全局特征对齐是对主干网络提取出的特征图进行特征对齐，大都存在两点不足，一是全局特征对齐尺度过于单一，仅对主干网络最后输出的特征图进行特征对齐，即对大尺寸目标进行特征对齐，而忽略了小尺寸目标，且未消除由两域样本中由目标大小不同造成的域间差异；二是全局特征对齐过程中，在对齐前景目标特征的同时，强制对齐背景特征，由于背景噪声的影响，限制了全局特征对齐的效率。

发明内容

为了克服上述全局特征对齐算法存在的不足，本发明提出了一种基于多尺度特征融合的全局特征对齐目标检测(MGFA)方法。该方法以Faster R-CNN为目标检测框架，对多尺度特征进行特征对齐，并通过融合不同尺度特征将不同大小目标特征同步对齐，最后消除背景噪声对特征对齐造成的负面影响，从而解决域间差异带来的目标检测网络泛化性能低的问题。

本发明采用的技术方案是：

基于多尺度特征融合的全局特征对齐目标检测算法总共包含3个模块：

(1)特征融合模块：将Faster R-CNN的主干网络VGG16第二至第四卷积层输出的特征图进行特征融合，并输出新的特征图；在新的特征图中，融合了不同尺寸大小的目标特征；

(2)背景抑制模块：对于新的特征图，取每一个维度的特征平均值作为背景抑制基准值，该维度的特征图中每一个特征点的特征值若低于基准值，则将特征值置为0；

(3)全局特征对齐模块：对于背景抑制后的特征图，首先利用1×1卷积操作，将特征图维度降为1，然后将降为后的特征图中每一个特征点对应的特征值输入域分类器，判断每一个特征点在原图上对应的区域来自源域还是目标域，最终形成损失函数；最后利用翻转梯度层(GRL)形成生成对抗式的特征对齐方式，减少域间差异。

与现有技术相比，本发明的有益效果是：

(1)在全局特征对齐过程中，通过将不同尺度的特征融合进新的特征图中，将不同尺度大小的目标特征共同进行特征对齐，相比于单独对相同尺度大小的目标特征进行特征对齐，进一步减少了由目标尺寸大小不同带来的域间差异；

(2)在全局特征对齐过程中，使用背景抑制方法尽可能滤除背景噪声，减少背景噪声对特征对齐造成的负面影响，将网络注意力集中在对前景目标特征对齐上，进一步提高特征对齐的效率。

附图说明：

附图1：基于多尺度特征融合的全局特征对齐算法框架图。