[发明专利]神经网络优化方法、装置、电子设备、存储介质及芯片

权利要求书

1.一种神经网络优化方法，其特征在于，包括：

获取待压缩神经网络；其中，所述待压缩神经网络包括多个待压缩网络块；

响应于对所述多个待压缩网络块进行压缩操作得到多个压缩后网络块，确定每个所述压缩后网络块的目标误差；其中，所述目标误差用于表征在将所述待压缩网络块替换为所述压缩后网络块后，所述待压缩神经网络的推理结果的变化程度；和/或，所述待压缩网络块与所述压缩后网络块之间的差异程度；

按照基于所述目标误差确定的处理顺序，对各个所述压缩后网络块进行参数调整，得到目标网络块；

对包括多个目标网络块的待压缩神经网络进行训练，得到目标神经网络。

2.根据权利要求1所述的方法，其特征在于，所述目标误差包括用于表征所述待压缩网络块与所述压缩后网络块之间的差异程度的压缩误差；所述确定每个所述压缩后网络块的目标误差，包括：

获取第一样本数据；

利用所述待压缩网络块，对所述第一样本数据进行特征提取，得到所述第一样本数据对应的第一输出特征数据；以及

利用所述压缩后网络块，对所述第一样本数据进行特征提取，得到所述第一样本数据对应的第二输出特征数据；

利用所述第一输出特征数据和所述第二输出特征数据构成的第一数据对，和/或，所述待压缩网络块的权重数据和所述压缩后网络块的权重数据构成的第二数据对，确定所述压缩后网络块的压缩误差。

3.根据权利要求1或2所述的方法，其特征在于，所述目标误差包括用于表征在将所述待压缩网络块替换为所述压缩后网络块后，所述待压缩神经网络的推理结果的变化程度的推理误差；所述确定每个所述压缩后网络块的目标误差，包括：

获取第二样本数据；

将所述第二样本数据输入至所述待压缩神经网络中，得到所述第二样本数据对应的第一检测结果；以及

将所述待压缩神经网络中，所述待压缩网络块替换为对应的压缩后网络块，得到替换后的待压缩神经网络；将所述第二样本数据输入至所述替换后的待压缩神经网络中，得到所述第二样本数据对应的第二检测结果；

利用所述第一检测结果和所述第二检测结果，确定所述压缩后网络块的推理误差。

4.根据权利要求1～3任一所述的方法，其特征在于，所述按照基于所述目标误差确定的处理顺序，对各个所述压缩后网络块进行参数调整，得到目标网络块，包括：

按照所述目标误差从大到小的处理顺序，从多个所述压缩后网络块中确定第一个待处理网络块；并将所述第一个待处理网络块确定为当前待处理网络块，将所述待压缩神经网络确定为当前神经网络；

将所述当前神经网络中，所述当前待处理网络块对应的待压缩网络块替换为所述当前待处理网络块，得到中间神经网络；

基于所述中间神经网络，对所述当前待处理网络块进行参数调整，得到所述当前待处理网络块对应的目标网络块、和包括所述目标网络块的中间神经网络；

基于所述处理顺序，从多个所述压缩后网络块中确定下一个待处理网络块，并将所述下一个待处理网络块确定为当前待处理网络块，将包括所述目标网络块的中间神经网络确定为当前神经网络，返回至将所述当前神经网络中，所述当前待处理网络块对应的待压缩网络块替换为所述当前待处理网络块，得到中间神经网络的步骤，直至得到各个压缩后网络块对应的目标网络块。

5.根据权利要求1～3任一所述的方法，其特征在于，所述按照基于所述目标误差确定的处理顺序，对各个所述压缩后网络块进行参数调整，得到目标网络块，包括：

按照所述目标误差从大到小的处理顺序，分别将多个所述压缩后网络块中的每个所述压缩后网络块作为待处理网络块；

将所述待压缩神经网络中，所述待处理网络块对应的待压缩网络块替换为所述待处理网络块，得到中间神经网络；

基于所述中间神经网络，对所述待处理网络块进行参数调整，得到目标网络块。