[发明专利]基于跨模态语义表征学习和融合的图像分类方法及系统

权利要求书

1.基于跨模态语义表征学习和融合的图像分类方法，其特征在于，包括：

将获取的图像编码为视觉表征；

采用部分异构迁移算法从视觉表征学习与分类紧密相关的视觉分类表征；

基于视觉表征，通过跨模态语义信息推理得到跨模态的语义信息推理结果，采用类感知信息选择算法对跨模态的语义信息推理结果计算高阶语义表征；

融合视觉分类表征和高阶语义表征生成融合表征，基于融合表征进行图像识别分类。

2.如权利要求1所述的基于跨模态语义表征学习和融合的图像分类方法，其特征在于，所述采用部分异构迁移算法从视觉表征学习与分类紧密相关的视觉分类表征，包括：

利用单标签分类和多标签分类任务中的分类损失，筛选出由关键分类信息构成的视觉分类表征；

将部分异构迁移后文本模态的语义分类表征作为先验知识，将视觉分类表征和语义分类表征进行对齐，得到最终的视觉分类表征。

3.如权利要求2所述的基于跨模态语义表征学习和融合的图像分类方法，其特征在于，通过交叉CE熵和二元交叉熵BCE损失分别计算单标签分类和多标签分类任务中的分类损失：

其中，F为样本在视觉或文本模态中对应的分类表征，y为样本对应的标签，SL表示单标签，ML表示多标签，视觉分类表征或语义分类表征通过映射c(.)输出类别预测信息。

4.如权利要求1所述的基于跨模态语义表征学习和融合的图像分类方法，其特征在于，基于视觉表征，通过跨模态语义信息推理得到跨模态的语义信息推理结果，包括：

将视觉表征经过跨模态迁移转换为语义表征；

语义表征通过语义解码器转生成跨模态的语义信息推理结果。

5.如权利要求1所述的基于跨模态语义表征学习和融合的图像分类方法，其特征在于，所述采用类感知信息选择算法对跨模态的语义信息推理结果计算高阶语义表征，包括：

将跨模态的语义信息推理结果通过嵌入映射生成语义嵌入；

将类别相关的文本分布知识作为先验知识，根据各分类中出现各类文本的分布情况频次映射到不同权重比值；

利用重构语义关系矩阵融合各类文本的分布情况频次映射到不同权重比值，得到语义权重向量；

通过类别选择信息为重构语义嵌入提供文本间的语义权重向量，利用图卷积计算文本嵌入经过类别选择信息选择后的表征，得到高阶语义表征。

6.如权利要求5所述的基于跨模态语义表征学习和融合的图像分类方法，其特征在于，重构语义关系矩阵的构成，具体为：

跨模态的语义信息推理结果根据模型的预测输出由大到小排列，得到文本预测集合text＝{t₁,t₂,…,t_n}，其中，n表示文本的总数，t表示对文本的预测值；

选取前k个文本形成文本预测子集text_topk＝{t₁,t₂,…,t_k}，表示为模型预测最有可能出现前k个文本；

由text_topk构建重构语义关系矩阵R，为主对角线为1的对角矩阵，除主对角线之外的其它位置：

其中i，j分别表示矩阵中的行坐标和列坐标。

7.如权利要求1所述的基于跨模态语义表征学习和融合的图像分类方法，其特征在于，所述融合视觉分类表征和高阶语义表征生成融合表征，具体为：

F_f＝τ(fusion(τ(F_vc),τ(F_h)))

其中，视觉分类表征F_vc和高阶语义表征F_h；fusion(.)是指表征的融合操作，如表征拼接、求和、取最大值和取最小值操作，τ(.)是指一层全连接层后接ReLU(.)激活函数；F_f表示融合表征。