[发明专利]神经网络训练方法、装置、计算机设备及存储介质

权利要求书

1.一种神经网络训练方法，其特征在于，包括：

获取训练样本集中当前待处理的样本图像；

通过第一神经网络提取所述样本图像的第一表征向量，并通过第二神经网络提取所述样本图像的第二表征向量；所述第二神经网络为基于所述第一神经网络确定的用于对所述第一神经网络进行蒸馏训练的网络；

计算所述第一表征向量和目标表征向量之间的第一相似度，并计算所述第二表征向量和所述目标表征向量之间的第二相似度；所述目标表征向量为所述第二神经网络对所述训练样本集中的样本图像进行特征提取之后得到的特征向量；

根据所述第一相似度和所述第二相似度调整所述第一神经网络的网络参数，得到训练后的第一神经网络。

2.根据权利要求1所述的方法，其特征在于，所述通过第一神经网络提取所述样本图像的第一表征向量，以及通过第二神经网络提取所述样本图像的第二表征向量，包括：

对所述样本图像进行图像增强处理，得到增强图像；

通过第一神经网络提取所述增强图像的第一表征向量，以及通过第二神经网络提取所述增强图像的第二表征向量。

3.根据权利要求2所述的方法，其特征在于，所述通过第一神经网络提取所述增强图像的第一表征向量，以及通过第二神经网络提取所述增强图像的第二表征向量，包括：

通过所述第一神经网络提取所述增强图像中第一增强图像的表征向量，得到第一表征向量；

通过所述第二神经网络提取所述增强图像中第二增强图像的表征向量，得到第二表征向量；所述第一增强图像对应的增强强度大于所述第二增强图像对应的增强强度。

4.根据权利要求1至3中任一项所述的方法，其特征在于，所述方法还包括：

基于调整网络参数之后的所述第一神经网络对所述第二神经网络进行更新；以通过更新之后的第二神经网络对所述训练样本集中的样本图像进行处理。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述根据所述第一相似度和所述第二相似度调整所述第一神经网络的网络参数，得到训练后的第一神经网络，包括：

对所述第一相似度进行归一化处理，得到第一分布数据；并对所述第二相似度分别进行归一化处理，得到第二分布数据；

基于所述第一分布数据和所述第二分布数据计算目标损失函数的函数值；

根据所述函数值调整所述第一神经网络的网络参数，得到训练后的第一神经网络。

6.根据权利要求5所述的方法，其特征在于，所述基于所述第一分布数据和所述第二分布数据计算目标损失函数的函数值，包括：

根据第一温度系数所述第一分布数据的数据分布信息，并根据第二温度系数调节所述第二分布数据的数据分布信息；所述第一温度系数大于所述第二温度系数；

基于调节后的第一分布数据和调节后的第二分布数据之间的差异，计算所述目标损失函数的函数值。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述计算所述第一表征向量和目标表征向量之间的第一相似度，并计算所述第二表征向量和所述目标表征向量之间的第二相似度，包括：

对所述第一表征向量和所述目标表征向量进行点乘计算，得到所述第一相似度；以及对所述第二表征向量和所述目标表征向量进行点乘计算，得到所述第二相似度。

8.根据权利要求1至7中任一项所述的方法，其特征在于，所述方法还包括：

在用于存储所述目标表征向量的缓存队列中确定目标存储位置；

将所述第二表征向量作为新的目标表征向量添加至所述目标存储位置中，以更新所述缓存队列中存储的目标表征向量。

9.根据权利要求8所述的方法，其特征在于，所述缓存队列为队列长度为预设长度的先进先出FIFO队列。

10.根据权利要求1至9中任一项所述的方法，其特征在于，所述方法还包括通过以下步骤确定所述第二神经网络：

通过对所述第一神经网络进行滑动平均处理得到所述第二神经网络。