[发明专利]一种基于深度网络和对抗技术的领域适配方法

说明书

本发明一种基于深度网络和对抗技术的领域适配方法，涉及到深度学习，迁移学习，领域适配，卷积神经网络，对抗网络等技术。我们在微调Alexnet的基础上，增加两个对抗子网，用于对抗式的修正不同领域样本间的差异，在high‑level层学习到可共享特征。此方法可以有效降低大数据环境中人工标记的代价，有着一定的实际意义。该算法在新的目标风险误差上界基础上提出创新，算法主要包括初始化阶段和网络训练阶段。在初始化阶段，根据新的误差上界和构建新的神经元层，同时增加相应的损失和正则化项，并对网络和数据集进行初始化工作。训练阶段，通过概率阈值取代原有超参数，根据概率迭代的SGD算法运行若干个迭代周期，直至满足条件，训练结束。最终训练好的网络可以有效的替代人工标记过程，获得更多，更准确的有标记样本。

技术领域

本发明了一种基于深度网络和对抗技术的领域适配算法，算法涉及包括卷积 神经网络、深度学习、机器学习优化，属于人工智能领域。特别涉及基于公式推 导的新的误差上届增加多分支结构和损失函数，在子网中对抗后将预训练好的 AlexNet微调，涉及出一种新的组合对抗网络，能够有效的完成人工智能中的领 域适配(迁移学习)任务，在不同领域间进行知识的表示迁移。

背景技术

数据集偏移是机器学习领域中一个不容忽视的问题。数据集是描述现实世界 物体的片面化表述，在描述同一个物体集合的数据集上训练相同结构的模型，泛 化能力往往存在偏差，效果不够理想。数据集偏移降低了模型在同一类物体上的 泛化能力。对于真实世界而言，数据集偏移可以理解为模型在数据集上发生了过 拟合问题。域适配尝试解决数据集偏移问题，基于源领域和目标领域间的相似性、 差异性提高模型在目标领域数据上的表现。深度学习的发展使得深层次的学习模 型具有更多需要学习的参数，也意味着需要大量的样本训练模型。另一方面，寻 找到数量足够的有标签样本支撑模型训练是极为困难的。

发明内容

为了解决上述问题，本发明一种基于深度网络和对抗技术的领域适配方法， 不仅能够有效的修正领域数据之间的偏移问题，而且可以学习到领域间共享的表 示空间，算法可以适用于无监督的领域适配任务，即目标领域不需要存在任何的 标签就可运行。本发明的领域适配方法能够省去大量的人力标记工作，对于解决 大数据下标记数据稀少的问题有着广泛的实用性。

本发明一种基于深度网络和对抗技术的领域适配方法，主要包括以下步骤：

步骤1:获取源领域的样本和标签以及目标领域的样本。源领域和目标领域分 别取自两个近似的领域，其中源领域的样本有标签，目标领域的样本没有标签， 两个领域之间要有一定的相似性，即在领域间可以学到可以复用的知识。

步骤2:构建适配网络，使用ImageNet预训练好的参数初始化AlexNet，随 机初始化网络其它参数。算法的目的是在领域间建立一个特征子空间，这个特征 子空间中的特征可以被两个领域所共享。AlexNet是一种深度卷积网络，我们利 用深度网络来构建这种领域知识表示，同时通过增加对抗损失来修正领域之间的 差异程度。损失的传播过程通过反向梯度下降法实现。

步骤3：根据任务，初始化网络相关超参数，如学习率，概率阈值，dropout 率等。网络超参数需要人工来决定，对算法的收敛和性能有着重要的影响。通常， 算法的学习率可以给一个很小的值，利用更多次的批梯度下降来使网络收敛，概 率阈值根据具体的领域差异程度来决定，dropout率则为了防止过拟合。

步骤4：使用概率交替的梯度反向传播算法如SGD训练网络参数，训练结 束获得最终模型以及结果。概率交替的梯度反向传播算法可以将超参数”概率阈 值”控制在很小的范围内，使得超参数更容易搜索。训练通常采用若干个周期， 每一个周期我们使用SGD遍历一次所有的数据样本。在几个周期后，深度网络 训练完成，算法终止。

本发明具有一下优点及效果：