[发明专利]基于跨模态语义表征学习和融合的图像分类方法及系统

说明书

本发明属于图像分类领域，提供了一种基于跨模态语义表征学习和融合的图像分类方法及系统，包括将获取的图像编码为视觉表征；将获取的图像编码为视觉表征；采用部分异构迁移算法从视觉表征学习与分类紧密相关的视觉分类表征；基于视觉表征，通过跨模态语义信息推理得到跨模态的语义信息推理结果，采用类感知信息选择算法对跨模态的语义信息推理结果计算高阶语义表征；融合视觉分类表征和高阶语义表征生成融合表征，基于融合表征进行图像识别分类；本发明通过表征对齐和跨模态推理提升模型表征学习，能够与常用的视觉识别方法ResNet、ATNet等相结合，在多模态数据有限的条件下有效提升模型的识别准确率。

技术领域

本发明属于图像分类技术领域，具体涉及一种基于跨模态语义表征学习和融合的图像分类方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

图像识别作为计算机视觉中最重要的基础任务之一，已广泛应用于人脸识别，智能机器人等领域。传统的图像识别方法往往使用单一的视觉信息，通过人工手动提取特征或以深度学习中端到端的方式训练模型来实现图像识别。随着大量多模态数据被上传到社交媒体和网络平台中，现有图像识别算法将文本描述等信息加入模型的训练过程，并形成了特权信息学习(LUPI)范式。

然而，由于多媒体数据中的图像数据远多于其对应的文本描述，现有多模态学习方法难以广泛使用，因此，如何借助有限的跨模态文本信息指导模型的训练是一个亟待解决的问题。

现有的LUPI范式主要分为两类。一类是基于多任务学习的方式，通常使用视觉特征重构的文本特征来增加可用的语义信息。在这类方法中，基于视觉特征进行语义预测的方法常常受到图像噪声的干扰，导致在图像背景信息复杂时，图像识别准确率下降。另一类则是通过异构特征对齐的方式用文本特征来约束图像特征的提取过程，然而由于文本特征和图像特征属于异构模态，两类特征在特征分布和值域范围等方面的差异导致跨模态映射实效有限。因此，亟需新的方法进行图像特征到文本特征的映射，运用特征融合策略实现视觉与语义层面的多角度特征互补，从而提升模型的图像识别性能。

发明内容

为了解决上述问题，本发明提出了一种基于跨模态语义表征学习和融合的图像分类方法及系统，本发明通过跨模态的异构信息对齐和语义重构增强了模型表达能力；为解决跨模态语义表征学习中的问题，提出使用类感知信息选择方法CIS，基于模型预测和先验知识的融合，有效选择视觉语义中的关键信息。

根据一些实施例，本发明的第一方案提供了一种基于跨模态语义表征学习和融合的图像分类方法，采用如下技术方案：

基于跨模态语义表征学习和融合的图像分类方法，包括：

将获取的图像编码为视觉表征；

采用部分异构迁移算法从视觉表征学习与分类紧密相关的视觉分类表征；

基于视觉表征，通过跨模态语义信息推理得到跨模态的语义信息推理结果，采用类感知信息选择算法对跨模态的语义信息推理结果计算高阶语义表征；

融合视觉分类表征和高阶语义表征生成融合表征，基于融合表征进行图像识别分类。

进一步地，所述采用部分异构迁移算法从视觉表征学习与分类紧密相关的视觉分类表征，包括：

利用单标签分类和多标签分类任务中的分类损失，筛选出由关键分类信息构成的视觉分类表征；

将部分异构迁移后文本模态的语义分类表征作为先验知识，将视觉分类表征和语义分类表征进行对齐，得到最终的视觉分类表征。

进一步地，通过交叉CE熵和二元交叉熵BCE损失分别计算单标签分类和多标签分类任务中的分类损失：