[发明专利]一种多标签图像识别方法及装置

权利要求书

1.一种多标签图像识别方法，包括如下步骤：

步骤S1，获取多标签图像，提取图片特征，获得所述多标签图像的特征图；

步骤S2，于所述特征图上进行剪切获得区域特征，多次调用已训练好的循环注意感知模块进行处理，以获得所有区域的标签分数；

步骤S3，融合每一次循环注意感知模块得到的各区域的标签分数，获得最终的标签分布，输出最终结果。

2.如权利要求1所述的一种多标签图像识别方法，其特征在于：所述循环注意感知模块包括长短时记忆网络和全连接网络，其输入为截取的各个特征区域和上一次运行该模块得到的隐藏状态，输出为各个特征区域的分类向量以及预测的下一次运行最佳位置。

3.如权利要求2所述的一种多标签图像识别方法，其特征在于，步骤S2进一步包括：

在特征图上截取不同形状、不同尺度的区域，并把该些区域缩放到统一尺度；

于该些区域特征提取后，利用长短时记忆网络将之前运行的隐藏态以及该些区域特征作为输入，输出为每个区域的分类分数和搜索到的下一次运行的最优位置，该过程不断重复直到达到最大运行次数，获得各区域的标签分数。

4.如权利要求2所述的一种多标签图像识别方法，其特征在于：于步骤S3中，对于每一次循环注意感知模块得到的各区域的标签分数的融合，使用种类最大池化方法来得到最终的结果。

5.如权利要求2所述的一种多标签图像识别方法，其特征在于，于步骤S1之前，还包括如下步骤：

步骤S0，获取多标签图像，通过提取特征获得所述多标签图像的特征图，设计循环注意感知模块，根据所述特征图多次调用循环注意感知模块进行训练。

6.如权利要求5所述的一种多标签图像识别方法，其特征在于，步骤S0进一步包括：

获取多标签图像，利用深度卷积神经网络提取图片特征，获得该多标签图像的特征图；

在所述特征图上截取不同形状、不同尺度的区域，并把该些区域缩放到统一尺度；

设计该循环注意感知模块；

多次调用循环注意感知模块，使得模型能考虑图片的各个部分和全局信息，以此进行训练而调整整个模型的参数。

7.如权利要求6所述的一种多标签图像识别方法，其特征在于：所述循环注意感知模块每次运行时预测当前各个区域的标签分数和搜索为下一次运行搜索最相关的区域，在每一次运行中，它给出当前值得注意的区域预测标签分数然后根据当前状态预测下一次运行的最优位置，这个过程不断重复直到达到最大运行次数，最后，所有区域的标签分数通过融合得到最终的标签分布。

8.如权利要求7所述的一种多标签图像识别方法，其特征在于：于训练过程中，根据最终融合的结果定义一延迟奖励函数，并指导循环注意感知模块的训练过程。

9.如权利要求8所述的一种多标签图像识别方法，其特征在于：

于训练过程中，设计分类损失函数，利用所述分类损失函数与延迟奖励函数指导循环注意感知模块的训练过程。

10.一种多标签图像识别装置，包括：

特征提取单元，用于获取多标签图像，提取图片特征，获得该多标签图像的特征图；

识别处理单元，于所述特征图上进行剪切获得区域特征，多次调用已训练好的循环注意感知模块进行处理，以获得所有区域的标签分数；

融合单元，用于融合每一次循环注意感知模块得到的各区域的标签分数，获得最终的标签分布，输出最终结果。