[发明专利]一种神经网络模型的训练方法及装置

说明书

本发明公开了一种神经网络模型的训练方法及装置，所述方法包括：获取步骤，获取第一训练样本集和第二训练样本集，所述第一训练样本集为未标注的图像样本集，所述第二训练样本集为已标注的图像样本集；预训练步骤，采用所述第一训练样本集对神经网络模型进行预训练，获得初始神经网络模型；微调步骤，采用所述第二训练样本集对所述初始神经网络模型进行进一步训练，获得微调后的神经网络模型；以及判断步骤。本发明能够在标注样本较少的情况下实现对神经网络的训练，有效提高了神经网络识别的准确性。

技术领域

本发明涉及人工智能领域，具体涉及一种神经网络模型的训练方法、装置、终端设备 及计算机可读介质。

背景技术

神经网络是一种大规模、多参数优化的工具，需要依靠大量的训练数据，才能完成复 杂任务。目前大量的训练数据都需要人工标注，利用标注的训练数据不断调整神经网络的 参数，直至获得满足训练结束条件的神经网络模型，以便在处理复杂任务的时候获得较为 满意的结果，但这种方法需要大量人工进行标注，人工成本高。为了减少大量训练数据人 工标注的成本，通常采用非监督训练的方法，采用未标注的训练数据直接训练神经网络， 然而采用这种方法获得的神经网络在实际应用中效果较差，不能满足实际应用的精准度。

发明内容

有鉴于此，本发明的目的在于提供一种神经网络模型的训练方法、装置、终端设备及 计算机可读介质，提高神经网络模型识别的准确性，有效解决了现有的有监督神经网络模 型训练方法因需要大量人工进行标注，人工成本高的问题，以及现有的非监督神经网络模 型训练方法因采用未标注的训练数据直接训练神经网络模型导致图像识别准确率低、实用 效果差的问题。

本发明实施例的第一方面提供了一种神经网络模型的训练方法，包括：

获取步骤，获取第一训练样本集和第二训练样本集，所述第一训练样本集为未标注的 图像样本集，所述第二训练样本集为已标注的图像样本集；

预训练步骤，采用所述第一训练样本集对神经网络模型进行预训练，获得初始神经网 络模型；

微调步骤，采用所述第二训练样本集对所述初始神经网络模型进行进一步训练，获得 微调后的神经网络模型；

判断步骤，判断所述微调后的神经网络模型是否满足训练结束条件，在满足训练结束 条件的情况下，结束所述训练方法；以及在不满足所述训练结束条件的情况下，重复执行 所述预训练步骤和所述微调步骤。

进一步地，在所述预训练步骤之前，所述方法还包括：

构建神经网络模型，所述神经网络模型为卷积神经网络模型，所述卷积神经网络模型 包括卷积模块、自编码模块和识别模块；

其中，所述卷积模块包括N个并联的子卷积模块，所述子卷积模块包括卷积层和最大 池化层，所述卷积模块用于将图像分别在N个子卷积模块中提取特征信息；所述自编码模 块包括2层卷积层，用于将N个子卷积模块提取的特征信息进行融合；所述识别模块用于根据提取的特征信息识别目标图像。

进一步地，所述预训练步骤，包括：

对所述第一训练样本集的原始特征采用稀疏特征表示；

将用稀疏特征表示后的第一训练样本集输入卷积神经网络模型进行预训练，所述预训 练的过程为不断优化稀疏编码目标函数L1和目标函数最小化重构损失L2的过程，直到L1、 L2最小化，获得初始神经网络模型；

其中，所述稀疏编码目标函数L1的表达式如下：

式中，xⁱ为原始特征，B为基向量，zⁱ是xⁱ的稀疏表示，λ为正则参数，γ为基向量 参数，ε为超参数；

所述目标函数最小化重构损失L2的表达式如下：