[发明专利]一种基于联合学习与知识迁移的开放集图像分类方法

说明书

本发明公开了一种基于联合学习与知识迁移的开放集图像分类方法，该方法提出了一个包含域对抗网络和特有网络的深度神经网络模型，用于解决开放集图像分类问题。其中域对抗网络同时对源域数据和目标域数据进行学习，从而其学习到的特征表达在两个域上都具有一定的泛化性能。特有网络则专注于目标域数据的学习，其特征对目标域数据有更强的针对性。在两个网络联合学习和知识交换的过程中，特有网络学习到的特征能利用到域对抗网络所提供的指导，间接利用到了源域数据的监督信息，同时又减少了源域数据对其学习目标域数据带来的干扰，从而模型能够达到比较好的性能。

技术领域

本发明涉及图像分类的技术领域，尤其是指一种基于联合学习与知识迁移的开放集图像分类方法。

背景技术

近年来，由于深度学习在计算机视觉领域的成功，神经网络无疑已经成为了当下研究最热门的问题之一。而神经网络能取得如此成绩，离不开足够数量的带标签的数据。然而，在很多情况下我们很难轻易地获得训练所需的大量带标签的数据，但是仅仅依靠人工标注的话，整个过程都比较费时费力，并且难以保证标注的质量，这个问题在很大程度上限制了深度分类神经网络的发展，于是“域自适应”应运而生，它研究如何利用具有足够标签的源域数据信息来帮助缺乏标签信息的目标域数据的学习。简单而言，就是通过神经网络学习如何将源域数据上的标签信息迁移到无标签的目标域数据上。其中，源域和目标域数据相关但分布不同。在这个问题中，一般情况下源域和目标域中的数据类别是完全一致的，这种情况称之为闭集域自适应。然而在实际应用场景中，源域和目标域中可能只有一部分类别是相同的，除此之外的其他类别只存在于两个域中的某一个，这种场景更贴合实际应用，被称为开放集域自适应。

如果直接将闭集域自适应中的图像分类方法应用到开放集场景中，分类神经网络性能会有明显的下降。从本质上来说，我们需要的仅仅是两个域上相同类别的数据在分布上进行匹配，而其余类别的数据不应该与任何类别数据的分布对齐。有一种常见的解决方法是先筛选出目标域数据中的未知类数据，然后再对两个域中其余共同的类别做分布匹配，这样可以将问题的一部分转化为先前已经研究过的闭集域自适应问题。

但是目前解决开放集域自适应的分类神经网络基本上都是在源域数据和目标域数据上共同训练，但是由于目标域上的数据没有标注信息，训练过程中分类神经网络可能很难学习到针对目标域的具有可区分性的分类特征，这就会导致训练过程中学习到的特征很难在目标域上具有泛化性。所以本方法提出了一种基于两个网络联合学习的分类神经网络，核心思想是基于两个网络进行联合学习的过程中达到同步优化。

发明内容

本发明的目的在于克服现有的开放集图像分类方法中，训练分类神经网络的时候同时利用源域和目标域数据进行训练对神经网络学习特征表达过程的带来干扰，提出了一种基于联合学习与知识迁移的开放集图像分类方法，利用一个专注于目标域数据学习的特有网络来解决这一问题。

为实现上述目的，本发明所提供的技术方案为：一种基于联合学习与知识迁移的开放集图像分类方法，包括以下步骤：

S1、对训练数据进行划分，分为源域数据X_s和目标域数据X_t；初始化损失项权重系数λ和μ；随机初始化分类神经网络所有层的参数，包括两个结构完全相同、各自均由一个VGG-16分类网络组成的神经网络，分别称为域对抗网络和特有网络；

S2、随机从训练数据中的源域数据选择一小批源域训练数据(x_s，y_s)，从目标域数据选择一小批目标域训练数据x_t，其中，x_s和y_s分别表示选取的源域数据及其对应的标签信息；将两批数据分别输入到域对抗网络进行训练，并加以损失函数进行约束；再将同一批目标域数据输入到特有网络中进行训练，加以对应的损失函数进行约束；