[发明专利]一种基于联合属性建模的图像情感分析方法

权利要求书

1.一种基于联合属性建模的图像情感分析方法，以情感属性标签作为监督信息，获得所对应的局部视觉区域来学习情感属性特征；基于拉普拉斯特征映射挖掘类间信息，获取具有判别性的情感潜在属性特征；并给字典学习框架添加优化算法，最后利用学习得到的联合情感属性特征作为中层特征进行最终的图像情感分析，其特征在于，操作步骤如下：

步骤1：基于社交媒体用户元数据信息进行情感属性的挖掘，在此基础上通过研究语义概念和情感之间的关系构建情感属性集合，然后，通过一个融合神经网络与矩阵分解的模型获取图像视觉特征和情感属性的关联关系，完成图像的情感属性标签预测；

步骤2：构建情感属性字典模型，将视觉特征映射到属性空间，最小化重构误差优化情感属性字典模型，再通过不同的字典编码获得情感属性特征和情感潜在属性特征，完成联合属性建模；

步骤3：构建判别式字典学习模型，将情感属性特征映射到情感属性标签矩阵，给联合字典学习模型的情感属性字典添加情感属性判别项，增强分类任务的判别能力，并通过协同学习增强情感属性特征的语义表征能力；

步骤4：利用拉普拉斯特征映射，分析图像样本间的类间关系，以图像样本在情感分类空间中的拓扑结构为约束进行学习，实现具有判别性的情感潜在属性特征学习，充分挖掘未被情感属性覆盖的语义信息；

步骤5：采用迭代的方式来获得字典、编码系数和线性分类器最优解，优化求解字典学习模型；

步骤6：在训练样本的情感分类矩阵监督下训练多分类器LibSVM，利用训练好的分类器实现测试图像的情感分类，此外，将获得的情感属性预测向量得分前五的标签作为其情感属性预测标签。

2.根据权利要求1所述的一种基于联合属性建模的图像情感分析方法，其特征在于，所述步骤1中的情感属性挖掘和图像属性标签预测，具体包含：

1)从带有用户标签的情感图像数据中进行情感属性挖掘，构建符合人类情感认知的语义概念构成的情感属性集合；

2)在带有用户标签的图像数据集中，通过一个融合神经网络与矩阵分解的模型完成图像视觉特征到情感属性标签的映射，获得图像的情感属性标签。

3.根据权利要求1所述的一种基于联合属性建模的图像情感分析方法，其特征在于，所述步骤2中的情感属性字典模型和联合属性建模方法，具体包含：

1)构建情感属性字典模型，将视觉特征映射到情感属性空间，最小化重构误差以优化情感属性字典模型，再将学习得到的情感属性特征用于实现图像情感分析，具体情感属性字典模型的目标函数如下：

其中，代表训练样本的特征矩阵，为构造的字典，表示字典的编码系数，Z视为情感属性特征，P、N和M分别表示特征维度，样本数目和字典大小，||·||_F表示矩阵的Frobenius范数；

2)提出情感潜在属性的概念，即无法被标签描述的、类间可共享的潜在存在的视觉语义信息，作为情感属性的补充和辅助，情感潜在属性通过挖掘类间关系学习得到，然后通过不同的字典编码分别获得情感属性特征和情感潜在属性特征，生成联合属性特征，具体联合属性建模的字典学习模型的目标函数如下：

其中，D^u、D^d分别表示情感属性字典和情感潜在属性字典，Z^u、Z^d分别表示从原始视觉特征空间X中映射得到情感属性特征和情感潜在属性特征。