[发明专利]神经网络的训练方法及装置、计算设备

说明书

技术领域

本发明涉及深度学习领域，具体涉及一种神经网络的训练方法及装置、计算设备。

背景技术

深度学习源于对人工神经网络的研究，通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。深度学习是机器学习中一种基于对数据进行表征学习的方法。基于建立、模拟人脑进行分析学习的神经网络，模仿人脑的机制来解释数据。深度学习可以用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。深度学习可以应用于如人脸检测、人脸识别、场景分析等多种应用中。随着深度学习的发展，深度学习的应用也越来越广泛。

应用深度学习的网络的速度越快，其准确率越高，其性能越好。如使用深层网络(云端服务器等)进行深度学习时，其可以提供给深度学习较佳的环境支持，拟合能力较佳。但当使用浅层网络(如移动设备)进行深度学习时，受其本身环境的限制，计算能力有限、拟合能力较差，通常无法得到较好的性能。

因此，需要一种神经网络的训练方法，以便提升使用浅层网络时深度学习的性能。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的神经网络的训练方法及装置、计算设备。

根据本发明的一个方面，提供了一种神经网络的训练方法，其包括：

将输入数据输入至经训练得到的第一神经网络中，获得第一神经网络的至少一层第一中间层的输出数据；

将输入数据输入至待训练的第二神经网络中，获得第二神经网络的至少一层第二中间层的输出数据以及最终输出数据，至少一层第二中间层与至少一层第一中间层具有对应关系；

利用至少一层第二中间层的输出数据与至少一层第一中间层的输出数据之间的损失，以及最终输出数据与预标注的输出数据之间的损失，对第二神经网络进行训练。

可选地，第一神经网络的层数多于第二神经网络。

可选地，至少一层第一中间层包含第一神经网络的瓶颈层；至少一层第二中间层包含第二神经网络的瓶颈层。

可选地，利用至少一层第二中间层的输出数据与至少一层第一中间层的输出数据之间的损失，以及最终输出数据与预标注的输出数据之间的损失，对第二神经网络进行训练进一步包括：

根据至少一层第二中间层的输出数据与至少一层第一中间层的输出数据之间的损失更新第二神经网络的权重参数，根据最终输出数据与预标注的输出数据之间的损失更新第二神经网络的权重参数，对第二神经网络进行训练。

可选地，在将输入数据输入至待训练的第二神经网络中，获得第二神经网络的至少一层第二中间层的输出数据以及最终输出数据之前，方法还包括：

将输入数据进行下采样处理，将处理后的数据作为第二神经网络的输入数据。

可选地，利用至少一层第二中间层的输出数据与至少一层第一中间层的输出数据之间的损失，以及最终输出数据与预标注的输出数据之间的损失，对第二神经网络进行训练进一步包括：

利用至少一层第二中间层的输出数据与至少一层第一中间层的输出数据之间的损失，以及最终输出数据与对下采样处理后数据的预标注的输出数据之间的损失，对第二神经网络进行训练。

根据本发明的另一方面，提供了一种神经网络的训练装置，其包括：

第一输出模块，适于将输入数据输入至经训练得到的第一神经网络中，获得第一神经网络的至少一层第一中间层的输出数据；

第二输出模块，适于将输入数据输入至待训练的第二神经网络中，获得第二神经网络的至少一层第二中间层的输出数据以及最终输出数据，至少一层第二中间层与至少一层第一中间层具有对应关系；

训练模块，适于利用至少一层第二中间层的输出数据与至少一层第一中间层的输出数据之间的损失，以及最终输出数据与预标注的输出数据之间的损失，对第二神经网络进行训练。

可选地，第一神经网络的层数多于第二神经网络。

可选地，至少一层第一中间层包含第一神经网络的瓶颈层；至少一层第二中间层包含第二神经网络的瓶颈层。

可选地，训练模块进一步适于：

根据至少一层第二中间层的输出数据与至少一层第一中间层的输出数据之间的损失更新第二神经网络的权重参数，根据最终输出数据与预标注的输出数据之间的损失更新第二神经网络的权重参数，对第二神经网络进行训练。

可选地，装置还包括：

下采样模块，适于将输入数据进行下采样处理，将处理后的数据作为第二神经网络的输入数据。

可选地，训练模块进一步适于：