[发明专利]一种基于浅度学习的神经网络迁移方法

权利要求书

1.一种基于浅度学习的神经网络迁移方法，其特征在于：方法步骤如下：

步骤1、预处理目标任务数据集：划分图像识别相关任务，形成任务字典，并对分类的目标任务进行标记，存储标记数据，作为浅度神经网络的训练数据x₀；

步骤2、预训练浅度神经网络：输入步骤1的训练数据至浅度神经网络，逐层训练得到预训练的浅度神经网络模型，预训练的浅度神经网络模型包括：第一卷积层，池化层，第二卷积层和分类器，训练数据x₀经预训练的神经网络模型输出数据为x₂；

所述步骤2的浅度神经网络模型中，预训练的浅度神经网络模型数据处理过程具体为：训练数据x₀经过第一卷积层的卷积，输出得到x₁，x₁经过池化层下采样，输出得到x₂，将x₁输入第二卷积层，再经过分类器，输出预测结果为z₀，预训练浅度神经网络模型构建的计算公式如下：

其中：c表示划分目标任务数据集的类别数量；P表示池化算子；W_θ表示一个带有参数θ的卷积算子；S表示分类器；ρ表示一个Relu激活函数；R^c表示识别任务集；C_y是一个CNN浅度神经网络层；

步骤3、迁移网络：将步骤2得到的预训练的浅度神经网络模型输出数据x₂作为目标任务的深度神经网络模型的输入，以目标任务的带标记数据训练整个深度神经网络，对整个网络参数进行微调，带标记数据包括x₀和完成目标任务的公司或个人自身收集或标注的数据。

2.根据权利要求1所述的一种基于浅度学习的神经网络迁移方法，其特征在于：所述步骤1中可对目标任务数据集进行拓展，只需相应地对增加的目标任务数据增加标记数据即可。

3.根据权利要求1所述的一种基于浅度学习的神经网络迁移方法，其特征在于：所述步骤2预训练的浅度神经网络模型中两个卷积层都采用3×3卷积核操作。

4.根据权利要求1所述的一种基于浅度学习的神经网络迁移方法，其特征在于：所述步骤2中池化层的数据处理方法选择的是可逆的下采样运算，其中包括将初始的空间通道重组成4个以空间方式抽取的副本，这些副本通过2×2的空间子采样获得，从而将分辨率降低2倍。

5.根据权利要求1所述的一种基于浅度学习的神经网络迁移方法，其特征在于：所述步骤2预训练浅度神经网络中用C_yx₀表示第一卷积层的逐层训练过程，C_yx₀用如下公式表示：

其中：W₀…W_k-2表示宽度恒定的卷积层；L表示一个输出维度为c的线性算子；当k＝1时，C_y是一个简单的线性模型，即仅训练带有一个隐藏层的CNN浅度神经网络层，当这层网络训练结束之后才开始训练一个有两个隐藏层的CNN浅度神经网络层，以此类推，在每一次训练中，把已经训练好的前k-1层固定，然后增加第k层，在训练好具有三层隐藏层之后结束。

6.根据权利要求1所述的一种基于浅度学习的神经网络迁移方法，其特征在于：当划分目标任务数据集的类别数量增加时，只需将所述步骤2中预训练的浅度神经网络模型对应增加相同数量的分类器。