[发明专利]融合文本与图像的双模态性格分类方法及装置

摘要

本申请涉及一种融合文本与图像的双模态性格分类方法及装置，属于人工智能技术领域，该方法包括：将文本数据和图像数据输入预先训练的性格分类网络，得到性格分类结果；性格分类网络包括特征提取网络、对比视觉注意力网络和对比感知解码网络；特征提取网络中的文本特征提取分支用于提取文本数据的词嵌入向量、图像特征提取分支用于提取图像数据的图像区域向量；对比视觉注意力网络中的基础视觉注意力分支用于提取与文本数据对齐的图像对象，并计算对齐的视觉表示、逆视觉注意力分支用于提取与文本数据不对齐的图像对象，并计算不对齐的视觉表示；对比感知解码网络用于进行性格类别的预测；缓解了分类性能不佳和无法捕捉认知差异信息的问题。