[发明专利]一种基于凸优化理论的抗噪声零样本图像分类方法

说明书

本发明公开基于凸优化理论的抗噪声零样本图像分类方法，提取待分类图片的视觉特征，输入预先训练获得的视觉‑语义映射模型，预测输出待分类图片的类别语义属性；利用图模型降噪算法，将待分类图片的视觉特征空间和预测输出待分类图片的类别语义属性空间进行流形对齐，获得最终的待分类图片的类别语义属性。预先训练获得视觉‑语义映射模型：构建视觉‑语义映射模型表达式；利用类别语义属性空间相似度和噪声鲁棒损失函数，建立鲁棒优化问题；使用凸凹迭代方法将求解鲁棒优化问题转化为求解一系列子优化问题；使用交替方向乘子法对子优化问题变量进行更新迭代，确定视觉‑语义映射模型中的相关参量，从而获得最终的视觉‑语义映射模型。

技术领域

本发明涉及一种基于凸优化理论的抗噪声零样本图像分类方法，属于图像分类技术领域。

背景技术

对于图片识别来说，传统的模式识别方法需要使用大量的良好标记图片进行训练，以保证模型的泛化性能，但在许多现实场景中对细粒度图片样本进行标记往往需要专业的领域知识，因此，为所有类别收集大量的标记良好的样本仍然是一个挑战。为了解决这个问题，零样本学习（Zero Shot Learning，简称ZSL）得到越来越多的关注。

ZSL试图通过从已见类（有现成样本的类别）的标记样本中获取迁移知识，构建能够识别未见类（没有现成样本的类别，即零样本类）样本的分类模型。

2017年发表的Prototypical networks for few-shot learning[J]. Advancesin neural information processing systems, 2017, 30中提出了原型网络模型，原型网络将类别中的各样本映射到一个空间中，将每个类别的均值作为类别的原型。利用欧几里得距离作为度量，最小化每个类别与自身原型的距离，同时最大化其与其它类别原型的距离。作者将改模型应用到零样本学习中，取得了不错的成果。

2019年发表的Zero-shot learning via robust latent representation andmanifold regularization[J]. IEEE Transactions on Image Processing, 2018, 28(4): 1824-1836中提出了一个框架来同时学习潜在的特征子空间和跨模态嵌入模型，以将视觉特征与其语义表示联系起来。利用余弦相似度作为度量，使每个样本的语义输出与自身类别语义属性的相似度尽可能大，与其他类别语义属性的相似度尽可能小，并提出了一种基于图模型降噪的新型流形对齐策略，来提高模型对未见类样本的预测精度。使用交替方向乘子法求解，极大地提高了训练效率。

现有的零样本图像分类模型大多假设训练样本均拥有正确标签，鲜有针对标记噪声数据处理方面的研究。然而，如果某些已见类样本的类别标记错误，产生标记噪声，往往会产生较大的损失值，倘若直接最小化这些样本的损失值，会导致训练得到的模型产生偏差，降低其泛化性能。

发明内容

本发明所要解决的技术问题是克服现有技术中由于现有零样本数据标签多为专家手动标记或从词库中自动提取，其不可避免的产生标记噪声，尤其在一些样本数据不足且精度相当重要的军事、医疗和金融领域，标记噪声的存在会对结果产生无法估计的负面影响的缺陷，本发明提供基于凸优化理论的抗噪声零样本图像分类方法，降低标记噪声带来的误差，有效提高了视觉-语义映射模型的识别精度。

为达到上述目的，本发明提供一种基于凸优化理论的抗噪声零样本图像分类方法，包括：

获取待分类图片；

提取待分类图片的视觉特征；

将待分类图片的视觉特征输入预先训练获得的视觉-语义映射模型，输出待分类图片的类别语义属性；

利用图模型降噪算法，将待分类图片的视觉特征空间和预测输出待分类图片的类别语义属性空间进行流形对齐，获得最终的待分类图片的类别语义属性。

优先地，预先训练获得视觉-语义映射模型，通过以下步骤实现：