[发明专利]一种基于联合属性建模的图像情感分析方法

说明书

本发明公开了一种基于联合属性建模的图像情感分析方法，利用字典学习方法分别构建情感属性字典和情感潜在属性字典以获取联合情感属性特征。为了确保字典学习得到的联合情感属性特征对图像情感分析的有效性，提出以情感属性标签作为监督信息获取情感属性标签所对应的局部视觉区域，通过施加约束条件的方式学习情感属性特征；并基于拉普拉斯特征映射，通过挖掘类间关系获取具有判别性的情感潜在属性特征。该属性建模方式充分利用语义概念本身的情感性，增强联合情感属性特征的语义表征能力，也保证了联合情感属性特征的判别力。最后，为联合属性建模的字典学习框架提出相应的优化算法，并以学习得到的联合情感属性特征为中层特征进行图像情感识别。

技术领域

本发明涉及图像情感分析领域，尤其涉及一种基于联合属性建模的图像情感分析方法。

背景技术

伴随着社交媒体的兴盛和具有摄像功能的移动终端的普及，图像数据源源不断地涌向网络，成为了用户进行自我情感表达的主要媒介之一。作为文本情感分析的补充，图像情感分析也成为了图像语义理解领域的研究热点。图像情感分析是一种感知层及认知层之上的抽象语义理解研究，如今，深度学习等技术在计算机视觉领域的卓越表现，为图像情感分析研究带来了机遇，同时图像情感分析相关应用的拓展也为机器学习的进一步研究提供了施展的空间。图像情感分析具有广阔的应用背景与商业价值，如：自动识别和过滤图像中有害于成年人身心健康的内容；在产品设计中，预测用户对图像内容的情感反应；实现社交媒体舆情分析等。

虽然目前图像情感分析领域已经有许多技术突破，但仍然存在很多值得探索的问题和挑战。由于情感语义本质上具有抽象性，因而在图像的低层视觉特征和高层情感语义之间存在着语义鸿沟，如何弥合这个语义鸿沟仍然是目前图像情感分析探究的重点之一。现有的基于中层语义特征的方法中虽然广泛地覆盖了图像的具象内容，但是在通用的语义概念覆盖的语义空间中缺少了很多对情感传递有贡献的概念，仅依赖于语义概念集合覆盖的视觉内容，忽略了一些无法用语言表示的语义信息，具有一定的局限性，无法有效地解决语义鸿沟问题。此外，凭借大数据驱动的深度学习方法也是目前研究的主要技术思路，但提取的具有情感语义的特征需要大规模且噪声小的数据进行训练，且忽略了中层语义概念与情感语义之间的相关性，缺乏可解释性。

发明内容

针对上述图像情感分析方法技术上存在的不足，本发明提出了一种基于联合属性建模的图像情感分析方法，以情感属性标签作为监督信息，获得所对应的局部视觉区域来学习情感属性特征；基于拉普拉斯特征映射挖掘类间信息，获取具有判别性的情感潜在属性特征；并设计了优化算法，用于字典学习模型的参数调整，最后利用得到的联合情感属性特征作为中层特征进行图像情感分析，该方法能够有效引入中层特征的语义表征，缩小视觉特征和情感语义之间的语义鸿沟，提升图像情感分析任务效果的准确性。

为达到上述目的，本发明采用如下技术方案：

一种基于联合属性建模的图像情感分析方法，包括以下步骤：

步骤1：基于社交媒体用户元数据信息进行情感属性的挖掘，在此基础上通过研究语义概念和情感之间的关系构建情感属性集合，然后，通过一个融合神经网络与矩阵分解的模型获取图像视觉特征和情感属性的关联关系，完成图像的情感属性标签预测；

步骤2：基于传统的字典学习，构建情感属性字典模型，将视觉特征映射到情感属性空间，最小化重构误差优化情感属性字典模型，再通过不同的字典编码获得情感属性特征和情感潜在属性特征，完成联合属性建模工作，为图像情感分析提供线索；

步骤3：构建判别式字典学习模型，将情感属性特征映射到情感属性标签矩阵，最小化分类损失获得情感属性标签所关联的局部视觉特征，给联合字典学习模型的情感属性字典添加情感属性判别项，增强分类任务的判别能力，并通过构建情感属性特征的协同学习正则项，增强情感属性特征语义表征表示能力；