[发明专利]一种神经网络调优方法、系统、终端以及存储介质

说明书

本申请涉及一种神经网络调优方法、系统、终端以及存储介质。所述方法包括：在神经网络的损失函数中加入类内间距正则化损失，得到基于类内间距正则化的损失函数；所述类内间距正则化损失表示所述神经网络输出的同一类别的数据的特征图之间的类内间距接近；在所述神经网络训练过程中，在设定比例的迭代次数中插入所述基于类内间距正则化的损失函数，采用网络优化算法与类内间距正则化算法交叠训练的方式对所述神经网络进行迭代训练，得到最优神经网络。本申请实施例通过在一定比例的迭代次数中插入类内间距正则化算法对神经网络进行迭代训练，在不改变神经网络结构的情况下，提升网络结构的泛化能力和抗干扰性，且由此带来的额外时间开销较小。

技术领域

本申请属于人工智能技术领域，特别涉及一种神经网络调优方法、系统、终端以及存储介质。

背景技术

随着人工智能的发展，深度神经网络以其强大的拟合能力在众多领域取得了惊人的成绩。然而神经神经网络的强大拟合能力依旧没有一个强有力的理论支持，深度神经网络的能力依旧具有很强的开发空间。为了得到更好的神经网络泛化能力，现有的网络结构变得越来越复杂，网络的参数量也呈现爆炸式增长的趋势，复杂的神经网络的训练过程变得非常缓慢，同时训练网络所带来的能量消耗也成倍增长。另外，神经网络也存在抗干扰性差、对输入数据敏感等问题。为了改善上述问题，需要对神经网络泛化的能力进行提升。

目前，提升神经网络泛化能力的主要方法分为三大类，具体为：

一、从网络结构出发，设计更好的网络结构。这种方法主要从深度神经网络的深度、宽度和广度三个角度进行网络结构的修正，复杂的网络结构可以带来更好的性能收益，但是也会导致网络的参数量巨大，训练时间较长，能源消耗较大。

二、提供更多的训练数据，使得神经网络能够识别更多的数据类型。该方法需要更多优质的数据，对数据进行处理需要消耗非常多的人力和算力。

三、从训练的过程出发，寻找更好的超参数或者优化方法。该方法可以在不改变网络结构的条件下，提高网络性能。然而超参搜索也需要迭代非常多次的网络训练过程，对算力和能源的消耗非常大。

发明内容

本申请提供了一种神经网络调优方法、系统、终端以及存储介质，旨在至少在一定程度上解决现有技术中的上述技术问题之一。

为了解决上述问题，本申请提供了如下技术方案：

一种神经网络调优方法，包括以下步骤：

在神经网络的损失函数中加入类内间距正则化损失，得到基于类内间距正则化的损失函数；其中，所述类内间距正则化损失表示所述神经网络输出的同一类别的数据的特征图之间的类内间距接近；给定一个神经网络结构z(x_i,ω)，ω是神经网络的参数，x_i是输入数据，所述基于类内间距正则化的损失函数为：

上式中，y_i是输入数据x_i对应的标签，L(z(x_i,ω),y_i)是经验损失函数，λ是一个超参数，为类内间距正则化损失，是所有类别的特征图集合；

在所述神经网络训练过程中，在设定比例的迭代次数中插入所述基于类内间距正则化的损失函数，采用网络优化算法与类内间距正则化算法交叠训练的方式对所述神经网络进行迭代训练，得到最优神经网络。

本申请实施例采取的技术方案还包括：所述基于类内间距正则化的损失函数用于提取各个类别的数据的特征图的类别中心，所述类别中心计算方式为：

将所述基于类内间距正则化的损失函数展开，得：