[发明专利]一种基于结构特征增强和类中心匹配的跨域图像分类方法

说明书

本发明提供一种基于结构特征增强和类中心匹配的跨域图像分类方法，包括：获取源域图像和目标域图像；构建视觉特征提取器和结构特征提取器提取上述图像的初始视觉特征和初始结构特征；基于上述图像的初始视觉特征和初始结构特征，获得源域图像增强特征和目标域图像增强特征，利用其对目标域图像进行类中心匹配，获得目标域图像的伪标签；使用具有真实标签的源域图像和具有伪标签的目标域图像对视觉特征提取器、结构特征提取器和分类器进行训练；利用训练好的视觉特征提取器、结构特征提取器和分类器获得待分类的目标域图像的分类结果。本发明综合考虑图像的视觉特征和结构特征，使用类中心匹配方法进行伪标签赋予操作，提高了跨域图像的分类精度。

技术领域

本发明涉及图像分类的技术领域，更具体地，涉及一种基于结构特征增强和类中心匹配的跨域图像分类方法。

背景技术

目前，国内外已经有人开始对跨域图像分类方法进行了研究和探索，目前用于跨域图像分类方法的特征一般是视觉特征，而忽略了结构特征，从而因为结构差异使得分类器在目标域图像上分类效果不好。同时，目前方法大多直接赋予目标域图像伪标签，然后用这些带伪标签的目标域图像对网络进行训练。但是，这种直接赋予伪标签的方式无法保证伪标签的准确率，使得错误的伪标签给分类器引入错误信息，造成分类器在目标域图像上分类效果不好。

2020年6月2日公开的中国专利CN111222471A种提供了一种基于自监督域感知网络的零样本训练及相关分类方法，通过自监督学习的方式充分挖掘源域和目标域之间的关系，减少因目标域数据挖掘不充分而导致的域偏差；该方法通过以agent作为桥梁连接所有类别建立联合的嵌入空间，学习域感知的视觉特征，虽然具备一定的知识迁移和泛化能力，但是分类时仅考虑图像的视觉特征，忽略了图像的结构特征，赋予目标域伪标签的准确率降低，最终导致分类精度低。

发明内容

本发明为克服上述现有技术对跨域图像分类时考虑的特征单一，导致分类精度低的缺陷，提供一种基于结构特征增强和类中心匹配的跨域图像分类方法，对跨域图像分类时综合考虑图像的视觉特征和结构特征，使用类中心匹配方法为待分类的目标域图像赋予伪标签，提高了对跨域图像的分类精度。

为解决上述技术问题，本发明的技术方案如下：

本发明提供一种基于结构特征增强和类中心匹配的跨域图像分类方法，所述方法包括以下步骤：

S1：获取具有真实标签的源域图像和待分类的目标域图像；

S2：构建视觉特征提取器，提取源域图像和目标域图像的初始视觉特征，构建结构特征提取器，提取源域图像和目标域图像的初始结构特征；

S3：基于源域图像和目标域图像的初始视觉特征、源域图像和目标域图像的初始结构特征，获得源域图像增强特征和目标域图像增强特征；

S4：利用源域图像增强特征和目标域图像增强特征对目标域图像进行类中心匹配，获得目标域图像的伪标签；

S5：使用具有真实标签的源域图像和具有伪标签的目标域图像对视觉特征提取器、结构特征提取器和分类器进行训练，获得训练好的视觉特征提取器、结构特征提取器和分类器；

S6：使用训练好的视觉特征提取器、结构特征提取器和分类器对待分类的目标域图像进行分类，得到待分类的目标域图像的分类结果。

优选地，获取源域图像和目标域图像的初始视觉特征的具体方法为：

以深度卷积神经网络Alexnet为基础网络构建视觉特征提取器；

将源域图像集合和目标域图像集合中的所有图像输入视觉特征提取器，获得源域图像的初始视觉特征集合和目标域图像的初始视觉特征集合