[发明专利]一种基于深度学习和半监督自学习结合的小样本学习方法

权利要求书

1.一种基于深度学习和半监督自学习结合的小样本学习方法，其特征在于：

包括以下步骤：

S1、构建一个浅层次的深度学习神经网络，在已标注数据集上训练一个线性分类器，同为作为后续半监督自学习模块的特征提取器；

S2、构建线性回归模型，样本点(x_i,y_i),满足如下公式：

y_i＝x_i^Tβ+γ_i+ε_i

其中β表示结构化参数，γi与该样本点相关的偶发参数，ε_i为服从均值为0的一个正态分布；

由于γ_i与样本数据相关，通过γ_i的预测值可放映该样本点的拟合难度，||γ_i||越大，回归模型的对该样本的拟合程度越差；

S3、在半监督自学习阶段，利用神经网络作为特征提取器，同时未标注数据赋予伪标签；基于也有的已标注数据和未标注的数据构建一个含有偶发参数线性回归模型；

S4、在线性回归模型的求解过程中，通过最小二乘法，将结构化参数β替换为依赖偶发参数γ_i的估计，再通过引入L2正则化惩罚项，最终小样本分类问题的求解简化为：

S5、根据γ变为0时对应的λ值对所有的伪标签样本进行排序，并从中选取选取最可信的子集与现有的有标签样本集合一起重新迭代训练线性分类器，最终得到一个效果非常好的线性分类器。

2.根据权利要求1所述的基于深度学习和半监督自学习结合的小样本学习方法，其特征在于：所述S4中的惩罚项系数λ下的鲁棒性利用Glmnet算法求解。

3.根据权利要求1所述的基于深度学习和半监督自学习结合的小样本学习方法，其特征在于：所述的Glmnet算法求解过程如下：

A1、构建回归模型，y为连续变量，指定F＝gaussian/mgaussian构建广义线性模型；

A2、再使用交叉验证cv.glmnet时损失函数选用type.measure＝mse使用均方误差，使用predict预测新样本时指定type＝response输出预测值；

A3、构建分类模型，y为离散变量代表分类数据，指定F＝binomial/multinomial以及type.multinomial＝grouped构建逻辑回归模型；

A4、再使用交叉验证cv.glmnet时损失函数选用type.measure＝class/auc使用错配误差或auc，使用predict预测新样本时指定type＝class输出预测的值。

4.根据权利要求3所述的基于深度学习和半监督自学习结合的小样本学习方法，其特征在于：所述的type.measure用来指定交叉验证选取模型时最小化的目标参量。