[发明专利]一种基于情感轮和卷积神经网络的图像情感分布预测方法

权利要求书

1.一种基于情感轮和卷积神经网络的图像情感分布预测方法，其特征在于，包括如下步骤：

S1：选取图像数据集，将图像数据集中的图片按照情绪种类进行分类，将每种情绪的图片随机均分成十份，再从每种情绪的十份数据中随机抽取一份数据，将从各种情绪中随机抽取出的一份数据合并作为测试集使用一次，将其余数据合并作为训练集；

S2：构建图像情感分布学习模型，所述图像情感分布学习模型包括图像特征提取层、情感轮先验知识层和多任务损失层；图像特征提取层用于提取图片中的特征信息，并将图片中的特征信息映射到目标情绪；情感轮先验知识层基于Mikel's情感轮计算成对情绪间的相关程度，将图像特征提取层的输出转换为情感分布；多任务损失层用于实现情绪分类和情感分布预测两个任务；

S3：对图像情感分布学习模型的参数和超参数进行初始化设置，随后将训练集原始图片随机裁剪至224*224*3的形状并进行标准化，将训练集随机均分为若干个批量，每次输入一个批量的样本图片对图像情感分布学习模型的网络参数进行训练，直至每个批量的样本图片都已参与模型训练；将样本图片输入至图像特征提取层，得到图像信息表征向量其中C为目标情绪的数量，v_C为图像在第C种目标情绪的表达程度；

S4：将图像信息表征向量输入情感轮先验知识层，根据每种情绪在Mikel's情感轮上的位置关系，为每个情绪μ生成一个先验情感分布其中μ∈{1,2,…,C}，C为目标情绪的数量，代表情绪j在先验情感分布f_μ上的表达程度；

并使用先验情感分布f_μ对图像特征提取层输出的图像信息表征向量进行加权计算，得到包含心理学先验知识的情感分布向量情感分布向量的具体表达式如下：

S5：将情感分布向量输入多任务损失层，采用交叉熵损失函数和KL损失函数分别度量情绪分类任务和情感分布预测任务；通过加权的方式，将两种损失函数综合起来，作为多任务损失层的损失函数，对情绪分类和情感分布预测任务同时进行优化，多任务损失层的损失函数L具体表达式如下：

L＝(1-λ)L_cls(x,y)+λL_sdl(x,d)

其中，L_cls表示情绪分类损失函数，即交叉熵损失函数；L_sdl表示情感分布预测损失函数，即KL损失函数；x为图片，y为图片对应的情绪标签，d为图片对应的真实情感分布；λ为多任务损失函数中情感分布预测损失函数的权重系数；

采用随机梯度下降SGD来最小化损失函数L，完成对图像情感分布学习模型网络参数的训练；

S6：将测试集中的原始图片随机裁剪至224*224*3的形状并进行标准化，输入至训练后的图像情感分布学习模型，得到情感分布预测输出将情感分布预测输出用于情感分布预测任务，取情感分布预测输出中最大值对应的情绪作为图片的主导情绪用于情绪分类任务；

S7：采用十折交叉验证方式从S1中重新选取测试集和训练集，并重复S3～S6十次，使图像数据集中的每张图片都作为测试集被使用一次；分别对十次训练过程中图像情感分布学习模型在情感分布预测任务和情绪分类任务上的性能取均值，作为图像情感分布学习模型在情感分布预测任务和情绪分类任务上的最终性能。

2.根据权利要求1所述的一种基于情感轮和卷积神经网络的图像情感分布预测方法，其特征在于，所述图像特征提取层由两部分构成，前端部分由VGGNet的5组卷积层与池化层和2层全连接层组成，通过多层卷积神经网络提取图片中的特征信息，后端部分由一个全连接层组成。

3.根据权利要求2所述的一种基于情感轮和卷积神经网络的图像情感分布预测方法，其特征在于，S3中对图像情感分布学习模型参数的初始化设置具体为：将图像特征提取层前端部分的参数初始化为VGGNet在ImageNet图像数据集上预训练的参数，对后段部分的参数采用正态分布初始化。