[发明专利]融合文本与图像的双模态性格分类方法及装置

说明书

本申请涉及一种融合文本与图像的双模态性格分类方法及装置，属于人工智能技术领域，该方法包括：将文本数据和图像数据输入预先训练的性格分类网络，得到性格分类结果；性格分类网络包括特征提取网络、对比视觉注意力网络和对比感知解码网络；特征提取网络中的文本特征提取分支用于提取文本数据的词嵌入向量、图像特征提取分支用于提取图像数据的图像区域向量；对比视觉注意力网络中的基础视觉注意力分支用于提取与文本数据对齐的图像对象，并计算对齐的视觉表示、逆视觉注意力分支用于提取与文本数据不对齐的图像对象，并计算不对齐的视觉表示；对比感知解码网络用于进行性格类别的预测；缓解了分类性能不佳和无法捕捉认知差异信息的问题。

【技术领域】

本申请涉及一种融合文本与图像的双模态性格分类方法及装置，属于人工智能技术领域。

【背景技术】

性格是一个人对待现实的长期稳定的态度，一般在社会生活实践中逐渐形成。性格具有复杂的静态结构，主要由态度特征、意志特征、情绪特征和理智特征四个部分组成，它们彼此关联又相互制约。态度特征指个体如何处理对社会、集体、工作、劳动、他人及自身等各方面的关系的特征，例如诚实、热爱祖国、有责任心、勤劳等等。意志特征指个体对自身行为自觉地进行调整的特征，例如勇敢、果断、理性、计划性强等。情绪特征指个体的情绪对他人活动的影响以及对自身情绪的控制能力，良好的情绪特征体现在情绪稳定、善于控制，不良的情绪特征体现在情绪波动大、控制力薄弱。理智特征指个体在认知活动中显露的特征，例如在认知活动中的依存性和独立性，现实性和创造性等等。

性格具有丰富性和动态性，性格的静态结构表明了个体性格的各种特征并非是一成不变的机械组合，它会在不同的时间和不同的场合通过语言、动作等行为方式表现出不同的侧面。例如，一个在工作和学习中认真负责、理性固执的人在生活中则表现出感性温柔的一面。

目前性格的分类体系十分多样，常见的有向性分类体系(内倾型、外倾型)、FPA性格色彩体系(红、黄、蓝、绿)、大五人格体系(神经质，外倾性，经验开放性、宜人性、认真性)、霍兰德性格体系(社会型、企业型、常规型、现实型、研究型、艺术型)、九型人格体系(完美型、成就型、助人型、思想型、感觉型、活跃型、忠诚型、和平型、领袖型)等。

然而，目前的性格分析任务致力于通过构建回归模型预测个体的大五人格分值，在现实生活中，这种粗粒度且抽象的大五人格体系在工业应用领域存在局限性，例如无法设计出能表现出幽默性格的机器人。

【发明内容】

由于目前的性格分析任务致力于通过构建回归模型预测个体的大五人格分值，在现实生活中，这种粗粒度且抽象的五大人格体系在工业应用领域存在局限性，例如无法设计出能表现出幽默性格的机器人。因此，本申请将性格分析拓展到一个具体且细粒度的性格分类场景中，即给定一幅图片，根据个体对图片的具有性格导向的描述来判断此个体的实时性格倾向(如“浪漫”、“幽默”等)，由于不同性格的个体观察同一幅图像会给出不同的具有性格导向描述，受此认知差异现象的启发，本申请提供了一种基于对比视觉注意力机制的融合文本与图像的双模态性格分类方法—语言指导的对比视觉注意力方法(Language-guided Contrastive Visual Attention，L-CVA)。本申请提供如下技术方案：

第一方面，提供一种融合文本与图像的双模态性格分类方法，所述方法包括：

获取图像数据和用于描述所述图像数据的文本数据；

将所述文本数据和所述图像数据输入预先训练的性格分类网络，得到性格分类结果；

其中，所述性格分类网络从前至后依次包括特征提取网络、对比视觉注意力网络和对比感知解码网络；

所述特征提取网络包括：文本特征提取分支和图像特征提取分支，所述文本特征提取分支用于提取所述文本数据的词嵌入向量；所述图像特征提取分支用于提取所述图像数据的图像区域向量；