[发明专利]基于记忆机制前景感知建模的弱监督物体定位装置及方法

说明书

本公开提供一种基于记忆机制前景感知建模的弱监督物体定位装置，包括：特征提取模块，用于对输入图像进行特征提取形成特征图；前景感知模块，用于对所述特征图内各特征进行分类，得到前景激活图；以及目标定位模块，用于对所述前景激活图进行双线性插值得到类别激活图，然后对该类别激活图设置合理的阈值，找到能够覆盖响应区域的最大邻接矩形，完成最终定位。本公开还提供了一种基于记忆机制前景感知建模的弱监督物体定位方法。

技术领域

本公开涉及人工智能领域技术领域，尤其涉及一种基于记忆机制前景感知建模的弱监督物体定位装置及方法。

背景技术

目标定位技术能够在给定的图片中准确地寻找出目标的位置，在人脸识别，自动驾驶以及目标跟踪等领域有着广泛的应用。

传统方法通常是基于全监督的，需要使用大量的人工标注的边界框作为监督信息。这一过程严重依赖大量有时域边界标注的数据，非常耗费时间和人力，这限制了目标定位技术的拓展性和实用性。

针对一幅图像中仅有单个目标的情况，目标定位不仅要识别出图像中目标的类别，还要给出目标在图像中的位置信息。传统的目标定位需要大量的人工标注的边界框作为监督信息，然而这种监督信息的获取十分耗时耗力，限制了目标定位的应用范围。为了减轻对数据的依赖、提升拓展性和实用性，基于弱监督的定位算法应运而生，在目标定位中取得了较好的结果。然而，当前技术利用图片级别的标签进行训练，导致模型只依赖于特定类别的区域进行定位，从而使得网络仅仅定位出目标最具有判别力的区域。本专利提出的方法利用前景激活图实现目标的完整性定位，同时利用目标最具有判别力的区域实现精确的目标分类，在弱监督的框架下有效地提升了定位以及分类任务的性能。

发明内容

(一)要解决的技术问题

基于上述问题，本公开提供了一种基于记忆机制前景感知建模的弱监督物体定位装置及方法，以缓解现有技术中训练仅使用图像级标签的情况下，应用时计算机可根据输入图像自动进行分类及定位等技术问题。

(二)技术方案

本公开提供了一种基于记忆机制前景感知建模的弱监督物体定位装置，包括：

特征提取模块，用于对输入图像进行特征提取形成特征图；

前景感知模块，用于对所述特征图内各特征进行分类，得到前景激活图；以及

目标定位模块，用于对所述前景激活图进行双线性插值得到类别激活图，然后对该类别激活图设置合理的阈值，找到能够覆盖响应区域的最大邻接矩形，完成最终定位。

在本公开实施例中，所述的弱监督物体定位装置，还包括目标部件感知模块，用于根据所述特征图与所述前景激活图得到前景特征图，对其处理得到目标物体的特征，使所述最终定位更佳准确。

在本公开实施例中，所述目标部件感知模块包括：

部件发现模块，用于捕捉所述前景特征图中各部件的特征，得到多个部件的注意力图；

部件的特征模块，用于根据所述多个部件的注意力图与所述前景特征图，得到目标的多个部件的特征性；

重要性预测模块，用于为多个部件的特征性中每一部件的特征性预测出一个重要性权重，得到目标物体的特征。

在本公开实施例中，所述目标部件感知模块还用于将所述目标物体的特征进行分类。

在本公开实施例中，所述特征提取模块使用了四种不同的骨干网络进行特征提取，分别是MobileNetV1，VGG16，InceptionV3以及ResNet50。

在本公开实施例中，所述前景感知模块还包括：

模板单元，包括多个模板，用于所述特征图中各特征通过询问向量与所述模板进行对比得到前景特征；