[发明专利]一种基于情感轮和卷积神经网络的图像情感分布预测方法

说明书

本申请涉及一种基于情感轮和卷积神经网络的图像情感分布预测方法，它包括如下步骤：选取图像数据集并将图像数据集划分为测试集和训练集；构建图像情感分布学习模型；将训练集的图片输入模型进行训练；将测试集输入至训练后的模型，得到情感分布预测输出，用于情感分布预测任务和情绪分类任务；采用十折交叉验证方式重复十次上述过程，并对每次训练的模型性能取均值，作为模型的最终性能。本发明将Mikel's情感轮心理学先验知识引入情感分布学习，基于Mikel's情感轮计算成对情绪之间的相关性，采用多任务卷积神经网络以端到端的方式进行训练，有效利用情绪之间的相关性，同时优化情感分布预测与情绪分类任务。

技术领域

本申请涉及图像情感分析技术领域，具体涉及一种基于情感轮和卷积神经网络的图像情感分布预测方法。

背景技术

图像情感分析任务的目标是挖掘图片中隐含的人们的情感倾向，是一项涉及计算机视觉、心理学和美学的多学科交叉任务，目前图像情感分析方法主要包括两大类，一类是基于单标签学习或多标签学习的方法，该方法可以借鉴经典的分类模型实现情绪标签的预测，但是不能对图片在各种情绪上的表达程度进行定量分析，另一类是基于情感分布学习的方法，该方法对图片中蕴含的多种情绪同时建模，可以更好地处理多情绪标签的相关性和模糊性。但是，目前较少有基于图像的情感分布学习研究工作，在预测模型中直接运用心理学先验知识考虑情绪之间的相关性。

发明内容

本发明的目的在于，提供一种基于情感轮和卷积神经网络的图像情感分布预测方法，克服现有的图像情感分布学习模型在考虑情绪之间的相关性方面上的不足，提高图像情感分析模型在情绪分类任务和情感分布预测任务上的性能，将Mikel's情感轮心理学先验知识引入情感分布学习，基于Mikel's情感轮计算成对情绪之间的相关性，采用多任务卷积神经网络以端到端的方式进行训练，有效利用情绪之间的相关性，同时优化情感分布预测与情绪分类任务。

本发明采取的技术方案是：一种基于情感轮和卷积神经网络的图像情感分布预测方法，包括如下步骤：

S1：选取图像数据集，将图像数据集中的图片按照情绪种类进行分类，将每种情绪的图片随机均分成十份，再从每种情绪的十份数据中随机抽取一份数据，将从各种情绪中随机抽取出的一份数据合并作为测试集使用一次，将其余数据合并作为训练集；

S2：构建图像情感分布学习模型，所述图像情感分布学习模型包括图像特征提取层、情感轮先验知识层和多任务损失层；图像特征提取层用于提取图片中的特征信息，并将图片中的特征信息映射到目标情绪；情感轮先验知识层基于Mikel's情感轮计算成对情绪间的相关程度，将图像特征提取层的输出转换为情感分布；多任务损失层用于实现情绪分类和情感分布预测两个任务；

S3：对图像情感分布学习模型的参数和超参数进行初始化设置，随后将训练集原始图片随机裁剪至224*224*3的形状并进行标准化，将训练集随机均分为若干个批量，每次输入一个批量的样本图片对图像情感分布学习模型的网络参数进行训练，直至每个批量的样本图片都已参与模型训练；将样本图片输入至图像特征提取层，得到图像信息表征向量其中C为目标情绪的数量，v_C为图像在第C种目标情绪的表达程度；

S4：将图像信息表征向量输入情感轮先验知识层，根据每种情绪在Mikel's情感轮上的位置关系，为每个情绪μ生成一个先验情感分布其中μ∈{1,2,…,C}，C为目标情绪的数量，代表情绪j在先验情感分布f_μ上的表达程度；

并使用先验情感分布f_μ对图像特征提取层输出的图像信息表征向量进行加权计算，得到包含心理学先验知识的情感分布向量情感分布向量的具体表达式如下：