[发明专利]一种基于多部分注意力机制的零样本图像分类识别方法

说明书

本发明公开了一种基于多部分注意力机制的零样本图像分类识别方法，其特征在于，包括以下步骤：S1.训练多部分卷积探测器；S2.训练语义特征提取器；S3.获取训练集的图片，通过训练注意力探测器进行处理；S4.进行损失计算；S5.重复进行步骤S3和S4的计算，当算法损失低于预设数值时，进行测试，选取最小距离的作为类别值。本发明采用了语义分割的方式，先将整张图片进行语义分割出有效部位，筛掉不必要的冗余信息，然后再分别对多个部位进行特征提取；对于不同的部位，提出了将注意力机制作用于不同部位进行加权，使得每一个样本都有不同的加权方式，因此对于每一个样本，都会产生一些权值高的部位，这些部位能更好的把它和其他类别区分开。

技术领域

本发明涉及电力领域，更具体地，涉及一种基于多部分注意力机制的零样本图像分类识别方法。

背景技术

随着近几年大数据和大规模数据量学习的兴起，传统的图像识别技术逐渐无法满足新的图像识别需求，例如在测试过程中出现训练集中没有出现过的类别，这个问题在当前的海量数据中尤为突出，因为大规模数据量即大规模类别，并且一个类别下还存在多个子类。因此提高零样本下的图像分类问题具有重要的现实意义。为了提高训练不可见类别的识别率，人们提出了双线性模型，通过语义描述的辅助信息资源建立从可见类到不可见类的联系。在训练过程中，用具有语义信息的嵌入向量代替原类别标签，并将图像特征和语义特征映射到同一低维潜层空间，通过各种机器学习方法来完成图像的分类工作。这种方法减少了传统分类过程中训练好的分类器对原数据的过度依赖，实现了分类器的泛化性，完成了知识的迁移过程，最终提高了零样本学习过程的识别精度。

然而，目前的这种双线性映射都是直接建立在整张图片和语义描述之间。对于现实来说，整张图片除了需要识别的目标以外，还存在大量的与语义描述无关的信息，例如背景、其他目标主体与识别信息中无用的信息等，这些信息会对整个实验的特征提取乃至识别分类都有一定程度的干扰。其次，对于图片有效区域的不同位置，目前的算法都是统一进行处理的，但是从理论上来说，我们识别物体都会重点关注一些具有区别性的部分，这些区别性的部分能更好的将该类和其他类更好的区分开，尤其对于一些细粒度的分类来说，例如对于燕子，尾巴是识别该类的重点区域，因此该部分区域需要比其他区域有更高的关注度，从另一个方面来说，该区域的分类贡献值比其他区域更高。之前的分类过程都没有关注到这一问题，从而影响到后续的分类过程。

发明内容

本发明为克服上述现有技术所述的缺陷，提供一种基于多部分注意力机制的零样本图像分类识别方法。

为解决上述技术问题，本发明的技术方案如下：

一种基于多部分注意力机制的零样本图像分类识别方法，包括以下步骤：

S1.获取图像，训练多部分卷积探测器；

S2.训练语义特征提取器；

S3.获取训练集的图片，通过训练注意力探测器进行处理；

S4.进行损失计算；

S5.重复进行所述步骤S3和S4的计算，当算法损失低于预设数值时，进行测试，选取最小距离的作为类别值。

进一步地，所述步骤S1的多部分卷积探测器具体包括以下步骤：

S101.通过选择性搜索算法从所述图像中得到候选框RoI；

S102.通过卷积网络从候选框RoI中得到图像特征，在卷积层conv5得到特征分布feature map；

S103.将所述步骤S101的候选框RoI映射至所述步骤S102得到的featuremap并裁剪出对应的patch，使用Ro1pooling layer将所述patch调整至固定尺寸；

S104.将patch通过两个全连接层得到特征，将特征分别通过新的全连接层进行处理，连接上各自对应的损失函数。