[发明专利]一种以文本为核心的多模态情感分类方法

权利要求书

1.一种以文本为核心的多模态情感分类方法，其特征在于包括以下步骤：

步骤一：提取数据中的文本特征序列、视觉特征序列和声学特征序列，然后利用文本特征序列与视觉特征序列训练跨模态预测模型一，之后利用文本特征序列与声学特征序列训练跨模态预测模型二，当跨模态预测模型一和跨模态预测模型二损失函数值不再下降，则模型训练完毕；

步骤二：将待测文本特征序列输入跨模态预测模型一中，得到输出的视觉特征序列，然后根据输出的视觉特征序列得到视觉共享特征及视觉私有特征，

将待测文本特征序列输入跨模态预测模型二中，得到输出的声学特征序列，然后根据输出的声学特征序列得到声学共享特征及声学私有特征；

步骤三：将待测文本特征序列与视觉共享特征和声学共享特征进行融合，然后将融合结果再与视觉私有特征和声学私有特征进行融合，得到最终融合结果；

步骤四：将最终融合结果输入分类器中进行分类；

所述视觉共享特征和声学共享特征为相对于文本特征没有包含额外信息的特征，所述视觉私有特征和声学私有特征为包含了文本特征中不具有的信息的特征；

所述步骤二中视觉共享特征和声学共享特征通过以下步骤得到：

将待测文本特征序列输入跨模态预测模型一中，得到输出的视觉特征序列，进而得到输出的视觉特征序列中每个特征对应的N个注意力权重最大的文本特征，则视觉特征序列中该特征即为N个文本特征中每个文本特征对应的共享特征，最后对视觉特征序列中每一个特征执行上述步骤，直至得到每个文本特征对应的全部共享特征，即视觉共享特征；

将待测文本特征序列输入跨模态预测模型二中，得到输出的声学特征序列，进而得到输出的声学特征序列中每个特征对应的N个注意力权重最大的文本特征，则声学特征序列中该特征即为N个文本特征中每个文本特征对应的共享特征，最后对声学特征序列中每一个特征执行上述步骤，直至得到每个文本特征对应的全部共享特征，即声学共享特征；

N为3、4或5；

所述步骤二中私有特征通过以下步骤得到：

将待测文本特征序列输入跨模态预测模型一中，得到输出的视觉特征序列，然后得到输出的视觉特征序列中每个特征的损失函数值，然后取其中最大的五个损失函数值对应的特征作为私有特征，即视觉私有特征；

将待测文本特征序列输入跨模态预测模型一中，得到输出的声学特征序列，然后得到输出的声学特征序列中每个特征的损失函数值，然后取其中最大的五个损失函数值对应的特征作为私有特征，即声学私有特征。

2.根据权利要求1所述的一种以文本为核心的多模态情感分类方法，其特征在于所述N为5。

3.根据权利要求1所述的一种以文本为核心的多模态情感分类方法，其特征在于所述步骤二中视觉共享特征和声学共享特征通过以下步骤得到：

将待测文本特征序列输入跨模态预测模型一中，得到输出的视觉特征序列，然后得到输出的视觉特征序列中每个特征中注意力权重大于0.05的文本特征，则视觉特征序列中该特征即为注意力权重大于0.05的文本特征中每个文本特征对应的共享特征，最后对视觉特征序列中每一个特征执行上述步骤，直至得到每个文本特征对应的全部共享特征，即视觉共享特征；

将待测文本特征序列输入跨模态预测模型二中，得到输出的声学特征序列，然后得到输出的声学特征序列中每个特征中注意力权重大于0.05的文本特征，则声学特征序列中该特征即为注意力权重大于0.05的文本特征中每个文本特征对应的共享特征，最后对声学特征序列中每一个特征执行上述步骤，直至得到每个文本特征对应的全部共享特征，即声学共享特征。

4.根据权利要求2或3所述的一种以文本为核心的多模态情感分类方法，其特征在于所述步骤二中私有特征通过以下步骤得到：

将待测文本特征序列输入跨模态预测模型一中，得到输出的视觉特征序列，然后得到输出的视觉特征序列中每个特征的损失函数值，然后取其中损失函数值大于0.02的特征作为私有特征，即视觉私有特征；

将待测文本特征序列输入跨模态预测模型一中，得到输出的声学特征序列，然后得到输出的声学特征序列中每个特征的损失函数值，然后取其中损失函数值大于0.02的特征作为私有特征，即声学私有特征。