[发明专利]基于显著性检测和多层次特征融合的图像情感分类方法及装置

说明书

本发明公开一种基于显著性检测和多层次特征融合的图像情感分类方法首先利用显著性检测网络提取情感图像的显著性图；再通过孪生神经网络实现显著性图的特征图对对应情感图像的特征图的调制，以便于Inception‑v4网络对情感图像的情感表达区域更多的关注度，从而有效提高图像情感分类的精度；最后利用Inception‑v4网络对经孪生神经网络调制后的调制特征图进行分类，以准确获得对应情感图像的情感类别。本发明提供的图像情感分类方法可准确的定位情感图像中的情感表达区域，并通过特征调制的方式实现让分类网络在情感图像的情感表达区域给予更高的注意力，从而有效提高图像情感分类方法的准确率。

技术领域

本发明涉及图像情感分类技术领域，尤其是一种基于显著性检测和多层次特征融合的图像情感分类方法及装置。

背景技术

随着摄影技术和社交网络的发展和普及，人们已经习惯通过图像或者视频在网上分享经验和表达意见。这就对图像和视频内容的处理和理解提出了迫切的需求。与低水平的视觉表象相比，人类能够更好地感知理解高水平的语义和情感。近年来，心理学、情感计算、多媒体社区的图像内容的情感层次分析受到了广泛的关注。对图像在情感层次的分析也是图像内容分析的重中之重，它可以在人机交互、舆情分析、图像检索等方面实现广泛的应用。

图像情感的表达主要是由图像中的情感区域决定，如图像中的目标，而现有的方法并没有给予图像的情感区域更多的关注，因此无法获取更具有判别性的情感特征。

发明内容

本发明提供一种基于显著性检测和多层次特征融合的图像情感分类方法及装置，用于克服现有技术中情感区域关注少等缺陷。

为实现上述目的，本发明提出一种基于显著性检测和多层次特征融合的图像情感分类方法，所述图像情感分类方法包括：

构建情感图像集；所述情感图像集包括被标记的情感图像；

根据所述情感图像集建立训练集和验证集，利用显著性检测网络提取所述训练集和验证集中情感图像的显著性图；

将所述训练集中的情感图像和显著性图输入预先构建的图像情感分类模型；所述图像情感分类模型包括孪生神经网络和Inception-v4网络；

利用所述训练集中的情感图像和显著性图对所述孪生神经网络进行训练，并通过训练好的孪生神经网络来利用所述训练集中的显著性图对相应的情感图像进行特征调制，获得调制特征图；

利用所述调制特征图对所述Inception-v4网络进行训练，获得训练好的图像情感分类模型；

利用所述验证集中的情感图像和显著性图对训练好的图像情感分类模型进行验证；

将待分类图像以及待分类图像的显著性图输入验证后的图像情感分类模型进行分类，获得图像情感类别。

为实现上述目的，本发明还提出一种基于显著性检测和多层次特征融合的图像情感分类装置，包括：

图像集构建模块，用于构建情感图像集；所述情感图像集包括被标记的情感图像；

显著性图获取模块，用于根据所述情感图像集建立训练集和验证集，利用显著性检测网络提取所述训练集和验证集中情感图像的显著性图；

模型训练模块，用于将所述训练集中的情感图像和显著性图输入预先构建的图像情感分类模型；所述图像情感分类模型包括孪生神经网络和Inception-v4网络；利用所述训练集中的情感图像和显著性图对所述孪生神经网络进行训练，并通过训练好的孪生神经网络来利用所述训练集中的显著性图对相应的情感图像进行特征调制，获得调制特征图；利用所述调制特征图对所述Inception-v4网络进行训练，获得训练好的图像情感分类模型；

模型验证模块，用于利用所述验证集中的情感图像和显著性图对训练好的图像情感分类模型进行验证；