[发明专利]基于分层变分条件转移神经元的跨域小样本学习方法

说明书

本发明公开了一种基于分层变分条件转移神经元的跨域小样本学习方法，包括：1)构建初始记忆单元集M；2)随机初始化关键字生成网络f的参数θ、查询集推理网络g的参数φ₁、支持集推理网络g的参数φ₂；3)利用变分推理ELBO下限对所述记忆单元集M的生成过程以及所述参数θ、φ₁、φ₂进行优化；4)在所述参数θ、φ₁、φ₂训练收敛之后，利用测试数据进行测试。本发明基于分层变分条件转移神经元的跨域小样本学习方法，能够在小样本下解决跨域的偏移问题，在分布层面构建记忆单元，增强模型的泛化性能。

技术领域

本发明涉及计算机视觉领域。特别涉及一种基于分层变分条件转移神经元的跨域小样本学习方法。

背景技术

小样本学习指在每种类别样本很少的情况下学习得到性能较佳的分类器，在小样本学习中，一般将数据集分为支持集(Support)和查询集(Query)，分别用于训练和测试。如1-shot/5-way，指支持集中包含5个类别数据，每个类别只有一个训练数据。查询集中若干数据，用来测试系统性能。

在典型的小样本学习中，可以采用元学习方法，这时假设有很多个任务，每个任务有一个支持集(Support)和查询集(Query)，将多个任务划分为元训练数据(meta-train)和元测试数据(meta-test)。其中元测试数据和真实测试数据类似。而元训练数据为获取模型参数的训练数据。另外的方法是通过增加记忆单元，加快在小样本下的分类器的快速适应能力，从而达到提升分类器性能。这些方法或者是通过在记忆单元中搜索和样本类似的表征作为对样本的补充，或者将其嵌入到神经元中，对每一层神经元的激活函数做调整，使其输出不仅和本层的输入相关，还和本层的记忆单元中的数据相关。上述方法在小样本识别中对性能提升起到一定作用，其中元学习是一个框架，可以和其他方法结合，作为辅助手段进一步提升性能，而在记忆机制中，多是将训练过程用到的数据表征存放到记忆单元中，在小样本学习中加以利用。如果遇到学习或训练阶段未见或完全不一样的数据，则记忆机制将会失效。

通常的机器学习中，一般要求训练数据和测试数据分布保持一致，才能获得较佳的系统性能。而在跨域识别中，训练数据和测试数据可能来源于不同的域，任务之间的数据会存在较大的偏移，称其为domain shift，即域偏移。这种偏移会引起系统性能下降。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了基于分层变分条件转移神经元的跨域小样本学习方法，针对跨域小样本识别任务，除了要解决小样本识别中的样本数少带来的影响之外，还要解决训练数据和测试数据跨域带来的问题。

为实现上述目的，第一方面，本发明所提供的技术方案为：基于分层变分条件转移神经元的跨域小样本学习方法，包括以下步骤：

1)构建初始记忆单元集M；

2)随机初始化关键字生成网络丁的参数θ、查询集推理网络g的参数φ₁、支持集推理网络g的参数φ₂；

3)利用变分推理ELBO下限对记忆单元集M的生成过程以及参数θ、φ₁、φ₂进行优化；

4)在参数θ、φ₁、φ₂训练收敛之后，利用测试数据进行测试。

进一步，在所述步骤3)中，所述变分推理ELBO下限为