[发明专利]一种基于情感对的GIF动画情感识别方法

权利要求书

1.一种基于情感对的GIF动画情感识别方法，其特征在于包括以下步骤：

(1)训练情感对序列检测子，具体方法为：

(1.1)构建“情感对”模型，在现有“形容词名词对”模型的基础上引入动词，构成动词名词对，专门用来描述GIF视频中的动作信息；为了表述方便将“形容词名词对”和“动词名词对”合称为“情感对”；

(1.2)概念语义体系的构建，只需要WordNet中的形容词、动词和名词三种类型的单词；其他的副词、介词、助词均被删除；对提取出的动词、形容词和名词组合为形容词名词对和动词名词对；

(1.3)概念语义的筛选，在删除数词、介词、副词和“情感对”无关的概念语义词之后，还需要从中筛选出符合目标的概念语义项目，所述筛选出符合目标的概念语义项目的具体步骤为：

设计情感丰富度权值，构建过程如下：在SentiWordNet中，每个词的情感倾向性分为若干个等级，情感丰富度权值的绝对值越大表示情感倾向越强烈；

SentiWeight_i＝|SentiScore_i|

SentiScore就是SentiWordNet中该概念语义的情感得分，情感丰富度权值的取值范围是[0,1]；

设计语义频率权值，构建过程如下：在GIF视频网站Giphy.com中搜索情感词，统计Giphy.com搜索结果中GIF图像的数量Count，每一个概念语义的语义频率权值依据下式得出：

在上式中，Count_i是第i个概念语义在Giphy.com中对应的GIF动画个数；分母则是全部概念语义对应的GIF动画个数的最大值；

在得到情感丰富度权值和语义频率权值后，根据下式计算出一个筛选权值FilterWeight:

筛选权值FilterWeight的取值范围为[0,1]；

(1.4)基于多任务学习和情感相关性挖掘的“情感对”的检测，检测器的输出是相应“情感对”的概率值，输入是GIF动画的视频帧；检测之后的结果是一个长向量，该长向量的维度是筛选后“情感对”的个数，该长向量将作为该视频帧的中间层特征表示；

(2)训练中层表示到情感倾向的分类器。

2.如权利要求1所述一种基于情感对的GIF动画情感识别方法，其特征在于在步骤(1)第(1.4)部分中，所述基于多任务学习和情感相关性挖掘的“情感对”的检测中：

在多任务情感分析中使用的损失函数是交叉熵损失函数，使用KL距离来计算标签与分类结果之间的相似度；

对于两个离散型分布P，Q，KL距离用上式进行计算。

3.如权利要求1所述一种基于情感对的GIF动画情感识别方法，其特征在于在步骤(2)中，所述训练中层表示到情感倾向的分类器具体包括以下步骤：

(2.1)构建情感对序列；

(2.2)构建基于情感对序列的GIF情感时序分析模型，为了评估情感对序列的有效性，引入了带长短期记忆单元的循环神经网络作为时序分析的模型。

4.如权利要求3所述一种基于情感对的GIF动画情感识别方法，其特征在于在步骤(2)第(2.1)部分中，所述构建情感对序列具体包括以下步骤：

设计一个GIF情感分析时序模型—“情感对序列”，试图通过将时序信息形式化为概念语义的有序链表来解决时序问题；一个“情感对序列”是一组“情感对”构成的向量，为了评价不同长度的视频，向量的维度是不确定的，向量中的每个值代表一个情感对，而情感对则是从GIF视频帧中检测得到的；

SentiPair Sequence＝(SentE₁,SentE₂,...,SentE_n),SentE_i∈{ANP,VNP}

Time(SentE_i)＜Time(SentE_j),i＜j

上式是一个情感对序列的时序表达，SentE_i代表情感对序列中第i个情感对；Time(SentE_i)表示该情感对在GIF视频中出现的时刻；

当i＜j时，第i个情感对出现在第j个情感对之前。