[发明专利]一种基于深度学习和半监督自学习结合的小样本学习方法

说明书

本发明涉及一种基于深度学习和半监督自学习结合的小样本学习方法，包括以下步骤：构建一个浅层次的深度学习神经网络，在已标注数据集上训练一个线性分类器，同为作为后续半监督自学习模块的特征提取器；S2、构建线性回归模型；S3、在半监督自学习阶段，利用神经网络作为特征提取器，同时未标注数据赋予伪标签；S4、对线性回归模型求解；S5、对伪标签样本进行排序，并从中选取选取最可信的子集与现有的有标签样本集合一起重新迭代训练线性分类器，最终得到一个效果非常好的线性分类器，本发明逆残差卷积模型在控制模型参数数量的同时又可在内部拓展到更高维空间来进一步提高特征表达能力。

技术领域

本发明涉及小样本学习领域，具体是一种基于深度学习和半监督自学习结合的小样本学习方法。

背景技术

目前在深度学习领域主要有两个研究方向：一、研究强大、复杂的模型网络和实验方法，追求更高的性能，在保证精度的前提下去优化模型的效率，以提升模型的准确率为目标；二、研究实时、简单的模型网络和实验方法，追求更高的效率，在保证效率的前提下提升模型的精度，以追求模型的实时性为目标。复杂的模型的容量大，在数据量足够的话能够找到更优的解，简单的模型计算量小，对于同样的任务相比于复杂模型更有效率。在实际应用中，在追求精度的时候我们也需要考虑在不损失模型精度的情况下进一步优化网络结构，提高网络参数的利用率，在追求速度的时候我们同样需要考虑在保证实时性的前提下进一步提升模型的精度。总之，在设计深度学习网络模型的时候，我们不仅需要考虑模型的效率，而且需要考虑模型的精度，减少模型参数和计算冗余，提高模型参数和数值计算的利用率，自学习是一种常见的使用无标签样本帮助模型学习的策略。

但是传统的深度学习网络存在很多问题，虽然传统的深度学习能够增加网络的深度和复杂度来提升模型的特征提取能力，但是在小样本场景下很容易出现过拟合的情形。

发明内容

本发明的目的是提供一种基于深度学习和半监督自学习结合的小样本学习方法，解决了但是传统的深度学习网络存在很多问题，虽然传统的深度学习能够增加网络的深度和复杂度来提升模型的特征提取能力，但是在小样本场景下很容易出现过拟合的情形的技术问题。

本发明实现发明目的采用如下技术方案：

一种基于深度学习和半监督自学习结合的小样本学习方法，包括以下步骤：

S1、构建一个浅层次的深度学习神经网络，在已标注数据集上训练一个线性分类器，同为作为后续半监督自学习模块的特征提取器；

S2、构建线性回归模型，样本点(x_i,y_i),满足如下公式：

y_i＝x_i^Tβ+γ_i+ε_i

其中β表示结构化参数，γi与该样本点相关的偶发参数，ε_i为服从均值为0 的一个正态分布；

由于γ_i与样本数据相关，通过γ_i的预测值可放映该样本点的拟合难度， ||γ_i||越大，回归模型的对该样本的拟合程度越差；

S3、在半监督自学习阶段，利用神经网络作为特征提取器，同时未标注数据赋予伪标签；基于也有的已标注数据和未标注的数据构建一个含有偶发参数线性回归模型；

S4、在线性回归模型的求解过程中，通过最小二乘法，将结构化参数β替换为依赖偶发参数γ_i的估计，再通过引入L2正则化惩罚项，最终小样本分类问题的求解简化为：

S5、根据γ变为0时对应的λ值对所有的伪标签样本进行排序，并从中选取选取最可信的子集与现有的有标签样本集合一起重新迭代训练线性分类器，最终得到一个效果非常好的线性分类器。