[发明专利]神经网络的训练方法及装置、计算设备

权利要求书

1.一种神经网络的训练方法，其包括：

将所述输入数据输入至经训练得到的第一神经网络中，获得第一神经网络的至少一层第一中间层的输出数据；

将所述输入数据输入至待训练的第二神经网络中，获得第二神经网络的至少一层第二中间层的输出数据以及最终输出数据，所述至少一层第二中间层与所述至少一层第一中间层具有对应关系；

利用所述至少一层第二中间层的输出数据与所述至少一层第一中间层的输出数据之间的损失，以及所述最终输出数据与预标注的输出数据之间的损失，对第二神经网络进行训练。

2.根据权利要求1所述的方法，其中，所述第一神经网络的层数多于第二神经网络。

3.根据权利要求1或2所述的方法，其中，所述至少一层第一中间层包含第一神经网络的瓶颈层；所述至少一层第二中间层包含第二神经网络的瓶颈层。

4.根据权利要求1-3中任一项所述的方法，其中，所述利用所述至少一层第二中间层的输出数据与所述至少一层第一中间层的输出数据之间的损失，以及所述最终输出数据与预标注的输出数据之间的损失，对第二神经网络进行训练进一步包括：

根据所述至少一层第二中间层的输出数据与所述至少一层第一中间层的输出数据之间的损失更新所述第二神经网络的权重参数，根据所述最终输出数据与预标注的输出数据之间的损失更新所述第二神经网络的权重参数，对第二神经网络进行训练。

5.根据权利要求1-4中任一项所述的方法，其中，在所述将所述输入数据输入至待训练的第二神经网络中，获得第二神经网络的至少一层第二中间层的输出数据以及最终输出数据之前，所述方法还包括：

将所述输入数据进行下采样处理，将处理后的数据作为第二神经网络的输入数据。

6.根据权利要求5所述的方法，其中，所述利用所述至少一层第二中间层的输出数据与所述至少一层第一中间层的输出数据之间的损失，以及所述最终输出数据与预标注的输出数据之间的损失，对第二神经网络进行训练进一步包括：

利用所述至少一层第二中间层的输出数据与所述至少一层第一中间层的输出数据之间的损失，以及所述最终输出数据与对所述下采样处理后数据的预标注的输出数据之间的损失，对第二神经网络进行训练。

7.一种神经网络的训练装置，其包括：

第一输出模块，适于将所述输入数据输入至经训练得到的第一神经网络中，获得第一神经网络的至少一层第一中间层的输出数据；

第二输出模块，适于将所述输入数据输入至待训练的第二神经网络中，获得第二神经网络的至少一层第二中间层的输出数据以及最终输出数据，所述至少一层第二中间层与所述至少一层第一中间层具有对应关系；

训练模块，适于利用所述至少一层第二中间层的输出数据与所述至少一层第一中间层的输出数据之间的损失，以及所述最终输出数据与预标注的输出数据之间的损失，对第二神经网络进行训练。

8.根据权利要求7所述的装置，其中，所述第一神经网络的层数多于第二神经网络。

9.一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-6中任一项所述的神经网络的训练方法对应的操作。

10.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-6中任一项所述的神经网络的训练方法对应的操作。