[发明专利]融合文本与图像的双模态性格分类方法及装置

权利要求书

1.一种融合文本与图像的双模态性格分类方法，其特征在于，所述方法包括：

获取图像数据和用于描述所述图像数据的文本数据；

将所述文本数据和所述图像数据输入预先训练的性格分类网络，得到性格分类结果；

其中，所述性格分类网络从前至后依次包括特征提取网络、对比视觉注意力网络和对比感知解码网络；

所述特征提取网络包括：文本特征提取分支和图像特征提取分支，所述文本特征提取分支用于提取所述文本数据的词嵌入向量；所述图像特征提取分支用于提取所述图像数据的图像区域向量；

所述对比视觉注意力网络包括：基础视觉注意力分支和逆视觉注意力分支，所述基础视觉注意力分支用于提取与所述文本数据对齐的图像对象，并计算对齐的视觉表示；所述逆视觉注意力分支用于提取与所述文本数据不对齐的图像对象，并计算不对齐的视觉表示；

所述对比感知解码网络用于融合所述词嵌入向量、所述对齐的视觉表示和所述不对齐的视觉表示进行性格类别的预测。

2.根据权利要求1所述的方法，其特征在于，所述文本特征提取分支基于BERT-base模型对所述文本数据进行编码。

3.根据权利要求1所述的方法，其特征在于，所述图像特征提取分支基于Faster R-CNN提取图像区域。

4.根据权利要求1所述的方法，其特征在于，所述基础视觉注意力分支包括h个第一注意力头；

第i个第一注意力头的计算公式如下，所述i为小于或等于h的正整数：

Q＝XW_Q，

K＝OW_K，

V＝OW_V，

其中，X表示所述词嵌入向量，O标识所述图像区域向量，Q表示查询输入，K表示键输入，V表示值输入，是折扣因子；

将h个第一注意力头的输出拼接后得到：

其中，为可训练的权重矩阵，是拼接操作，h为正整数；

所述对齐的视觉表示通过下式表示：

R_b＝PL(LN(X+FFN(LN(X+selfAtt(X,O)))))

其中，LN(·)表示层归一化函数，FFN(·)表示前馈网络，PL(·)表示平均池化操作。

5.根据权利要求1所述的方法，其特征在于，所述逆视觉注意力分支包括k个第二注意力头；

第j个第二注意力头的计算公式如下，所述j为小于或等于k的正整数：

Q＝XW_Q，

K＝OW_K，

V＝OW_V，

其中，X表示所述词嵌入向量，O标识所述图像区域向量，Q表查询输入，K表示键输入，V表示值输入，是折扣因子，是值全为1的单位矩阵，I-softmax(·)操作用计算相反的注意力权重，用于归一化m个对象的相反注意力权重；

不对齐的视觉表示通过下式表示：

R_c＝PL(LN(X+FFN(LN(X+oppoAtt(X,O)))))；

其中，LN(·)表示层归一化函数，FFN(·)表示前馈网络，PL(·)表示平均池化操作。

6.根据权利要求1所述的方法，其特征在于，所述对比感知解码网络基于所述词嵌入向量中的文本句子级表示、所述对齐的视觉表示和所述不对齐的视觉表示，使用两个softmax函数计算实际标签y_i的预测概率值。