[发明专利]基于目标引导动态Mixup的跨域小样本图像识别系统

说明书

本发明属于计算机技术领域，具体为基于目标引导动态Mixup的跨域小样本图像识别系统。本发明包括动态Mixup混合比例生成模块、Mixup‑3T图像分类模块以及双层meta‑learning训练模块；本发明先通过动态Mixup混合比例生成模块生成目标引导的Mixup混合比例，之后将Mixup混合比例以及待分类的图像输入Mixup‑3T图像分类模块进行分类；通过双层meta‑learning训练模块训练动态Mixup混合比例生成模块以及Mixup‑3T图像分类模块。本发明可以针对目标域以及当前模型生成最优的Mixup混合比例，并利用该混合比例提升跨域小样本图像分类的精确度。

技术领域

本发明属于计算机技术领域，具体涉及跨域小样本图像识别系统。

背景技术

人类可以从非常少的样本中学习到物体的特征从而对物体进行识别与分类。小样本图像识别有助于让深度学习系统更加有效的利用训练样本从而大幅度减少训练样本的数量以及人力标注的成本。跨域小样本图像识别是小样本图像识别中的一个特殊情况，该方法针对小样本图像识别领域中训练样本与测试样本来自于不同分布(域)的情况进行研究。由于现实中系统的部署环境常与训练环境大不相同，跨域小样本图像识别系统的研究更加具有现实意义以及广阔的研究价值。

尽管这个任务具有重要的研究意义，但依然很少有直接相关的研究工作。文献[1,2,3]等研究通过提升特征的泛化性来提升模型的可迁移性，但这类算法由于缺少目标域图像效果并不理想，文献[4、5]通过在测试集上进行微调来增强知识迁移，但微调操作增加了时间成本。

为了提升算法准确度与效率，我们主张在实际训练时搜集非常少量的目标域样本加入训练集，并将这部分数据称作额外目标域数据集[6]。

本方法将Mixup方法[7]引入跨域小样本图像识别系统中，与现有的Mixup方法不同，本发明提出能够针对不同的目标域数据集以及当前的模型状态动态生成Mixup的混合比例的动态Mixup比例生成模块以及双层meta-learning生成模块。同时本方法提出使用包含源域分类任务、目标域分类任务以及混合图像分类任务的三任务图像分类网络Mixup-3T充分利用通过动态Mixup算法生成的图片进行知识迁移。

发明内容

本发明的目的在于提供一种能够提升算法准确度与效率的基于目标引导动态Mixup的跨域小样本图像识别系统。

本发明提供的基于目标引导动态Mixup的跨域小样本图像识别系统，主张在源域数据集，少量来自于目标域的图像(额外目标域数据集)上训练，在目标域数据集上进行测试，提升跨域小样本图像识别系统的准确度与效率；具体包括以下三个模块：(1)Mixup-3T图像分类模块；(2)动态Mixup混合比例生成模块；(3)双层meta-learning训练模块；先通过动态Mixup混合比例生成模块生成目标引导的Mixup混合比例，之后将Mixup混合比例以及待分类的图像输入Mixup-3T图像分类模块进行分类；通过双层meta-learning训练模块训练动态Mixup混合比例生成模块以及Mixup-3T图像分类模块；

所述动态Mixup混合比例生成模块，由三层全连接网络组成；通过动态Mixup混合比例生成模块生成目标引导的Mixup混合比例；

所述Mixup-3T图像分类模块，包括特征提取网络、分类器；其将动态Mixup混合比例生成模块得到Mixup混合比例以及待分类的图像进行分类；

所述双层meta-learning训练模块，用于训练所述Mixup-3T图像分类模块和动态Mixup混合比例生成模块。

本发明中，所述Mixup-3T图像分类模块，在训练、验证以及测试过程中接收不同输入，并得到相应的输出，具体如下：

在训练时，其输入为来自于源域的图像，来自于额外目标域的图像、输入的图像对应的标签，以及Mixup混合比例，输出为三任务分类损失其具体步骤如下：