[发明专利]一种基于多正则化层的多源领域适应方法

说明书

本发明公开了一种基于多正则化层的多源领域适应方法。该方法包括：针对在多个不同源域数据集上训练过的模型，以多个模型针对目标域的预测性能作为参考，选择一个模型组合为新的分类模型，该分类模型保留所选择模型的独立卷积层以及所述多个模型的正则化层；以设定的损失函数为优化目标，训练所述分类模型；将经训练的分类模型的多个正则化层转化为一个正则化层，预测目标域数据的分类信息。本发明在准确率，模型效率和泛化能力三者之间实现了更好的平衡。

技术领域

本发明涉及计算机视觉技术领域，更具体地，涉及一种基于多正则化层的多源领域适应方法。

背景技术

领域适应学习是指将模型从有标签的源域数据集迁移到无标签的目标域数据集上，旨在提升模型在目标域数据上的性能。多源领域适应是指将多个在不同领域数据(源域)上分别训练过的模型迁移到一个新的领域(目标域)上，其中目标域分布和源域分布可能存在很大差异。

现有的领域适应学习主要包括模型集成、加权集成和知识蒸馏三种类型。模型集成是对多个模型的输出求平均值作为模型的最终预测结果。具体到多源领域适应问题中的做法是，将多个模型分别利用现有的领域适应算法，迁移到目标域上，至此得到多个迁移过后的模型，并将它们的输出求平均值。加权集成是在模型集成的基础上，将多个模型的输出进行加权，即引入一个可学习的权重参数，将多个模型迁移到目标域上。知识蒸馏方法包括一个教师模型和一个学生模型，旨在使学生模型继承和学习教师模型的知识。具体到多源领域适应中，知识蒸馏将多个模型的预测结果的平均值作为教师模型的输出，让一个新的学生模型在目标域上的输出与教师模型尽量相同，将学生模型作为最终的模型，从而降低模型的参数量和计算量。

经分析，现有的多源领域适应学习主要存在以下缺陷：

1)模型集成和模型加权都包含了多个模型，这使模型的参数量和计算量显著上升。

2)知识蒸馏可以解决模型参数量和计算量，即模型效率的问题，但实验表明，这种方式显著降低了模型的泛化能力。

发明内容

本发明的目的是克服上述现有技术的缺陷，提供一种基于多正则化层的多源领域适应方法，该方法包括以下步骤：

针对源域上分别在多个数据集上训练过的多个模型，以所述多个模型针对目标域的预测性能作为参考，选择一个模型组合为新的分类模型，该分类模型保留所选择模型的独立卷积层以及所述多个模型的正则化层；

以设定的损失函数为优化目标，训练所述分类模型；

将经训练的分类模型的多个正则化层转化为一个正则化层，预测目标域数据的分类信息。

与现有技术相比，本发明的优点在于，将分别在多个源域数据集上训练的多个模型迁移到新的无标签目标域上，在追求目标域准确率的同时，提升模型的效率和泛化能力。本发明在保证模型准确率的前提下，相比模型集成和模型加权，显著降低了模型参数量和计算量；在保证模型效率的前提下，相比知识蒸馏等方法，具有更好的泛化能力。

通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。

附图说明

被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。

图1是根据本发明一个实施例的基于多正则化层的多源领域适应方法的流程图；

图2是根据本发明一个实施例的基于多正则化层的多源领域适应方法的模型结构示意图。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。