[发明专利]训练用于图像识别的神经网络的方法和装置

权利要求书

1.一种训练用于图像识别的神经网络的方法，所述方法包括：

获取训练图像；

基于训练图像中的第一训练图像对神经网络进行预训练；

使用解析阈值函数对预训练后的神经网络的层的权重进行修剪；

基于针对所有量化水平的权重的量化和解量化的加权平均来对修剪之后剩余的所述层的每个权重进行量化，以形成所述层的量化的权重；

基于所述层的量化的权重和训练图像中的第二训练图像来确定所述层的输出特征图；

基于针对所有量化水平的输出特征图的量化和解量化的加权平均来量化所述层的每个输出特征图；和

使用代价函数来更新解析阈值函数的参数、权重的所有量化水平的加权平均以及所述层的每个输出特征图的加权平均。

2.根据权利要求1所述的方法，其中，更新解析阈值函数的参数、权重的所有量化水平的加权平均以及所述层的每个输出特征图的加权平均的步骤还包括：优化代价函数。

3.根据权利要求2所述的方法，其中，代价函数包括修剪损失项、权重量化损失项以及特征图量化损失项。

4.根据权利要求1所述的方法，还包括：迭代地修剪权重，量化所述层的每个权重，确定所述层的输出特征图，量化所述层的每个输出特征图，并且更新解析阈值函数的参数、权重的所有量化水平的加权平均以及所述层的每个输出特征图的加权平均以优化代价函数。

5.根据权利要求4所述的方法，其中，所述神经网络的所述层是第一层，

所述方法还包括：

使用解析阈值函数来修剪预训练后的神经网络的第二层的权重，在预训练后的神经网络中，第二层在第一层之后；

基于针对所有量化水平的权重的量化和解量化的加权平均来对修剪之后剩余的第二层的每个权重进行量化，以形成第二层的量化的权重；

基于第二层的量化的权重和第一层的输出特征图来确定第二层的输出特征图；

基于针对所有量化水平的输出特征图的量化和解量化的加权平均来量化第二层的每个输出特征图；和

使用代价函数来更新解析阈值函数的参数、权重的所有量化水平的加权平均以及第二层的每个输出特征图的加权平均。

6.根据权利要求5所述的方法，其中，更新解析阈值函数的参数、权重的所有量化水平的加权平均以及第二层的每个输出特征图的加权平均的步骤还包括：优化代价函数。

7.根据权利要求1所述的方法，其中，解析阈值函数的参数包括控制解析阈值函数的锐度的第一参数，和控制解析阈值函数的第一边缘与第二边缘之间的距离的第二参数。

8.一种训练用于图像识别的神经网络的装置，包括：

接口，接收神经网络，接收的神经网络包括多个层；和

处理装置，获取训练图像；基于训练图像中的第一训练图像对接收的神经网络进行预训练；对预训练后的神经网络执行预定处理以生成包括具有已经被联合地修剪和量化的权重和输出特征图的至少一个层的神经网络，其中，预定处理包括：使用解析阈值函数来修剪预训练后的神经网络的所述至少一个层的权重，基于针对所有量化水平的权重的量化和解量化的加权平均来量化修剪之后剩余的所述至少一个层的每个权重以形成所述至少一个层的量化的权重，基于所述至少一个层的量化的权重和训练图像中的第二训练图像来确定所述至少一个层的输出特征图，基于针对所有量化水平的输出特征图的量化和解量化的加权平均来量化所述至少一个层的每个输出特征图，并且使用代价函数来更新解析阈值函数的参数、权重的所有量化水平的加权平均以及所述至少一个层的每个输出特征图的加权平均。

9.根据权利要求8所述的神经网络分析器，其中，接口还输出包括具有已经被联合地修剪和量化的权重和输出特征图的至少一个层的神经网络。

10.根据权利要求8所述的神经网络分析器，其中，预训练后的神经网络是全精度训练的神经网络。