[发明专利]一种基于类别信息对神经网络分步训练的方法、装置、介质

说明书

本发明提出了一种基于类别信息对神经网络分步训练的方法、装置及存储介质，该方法包括：获取步骤，获取所述神经网络的初始权重数据，并将所述初始权重数据存储在一指定存储区中；选择步骤，从待训练的N个类别训练样本集合中选择n个未标记类别样本集合；训练步骤，使用所述选择n个未标记类别样本集合对所述神经网络进行迭代计算得到训练后的神经网络；更新步骤，将训练后神经网络模型的权重数据更新所述指定存储区中的初始权重数据；本发明中，从N个类别中选择n个类别未标记样本集合标记后进行神经网络的训练，在训练过程中充分利用样本的类别信息，提高了神经网络的训练精度，提高了更新效率，保证了神经网络的训练速度。

技术领域

本发明涉及人工智能技术领域，具体涉及一种基于类别信息对神经网络分步训练的方法、装置、设备及存储介质。

背景技术

神经网络中常需要含有类别信息以完成如分类、对不同类别检测或回归等针对多类别的任务。经常的，这些类别信息也是未确定的，需要在训练过程中最优化。这些类别信息常常作为网络权重存储在神经网络特定的层中，参与训练与推理。类别数越多，所需的权重也就越多，这些层的训练与推理也就越慢。或者每次使用限定类别数的样本对神经网络分步训练。

采用固定类别数目的方法(如softmax loss)训练神经网络时，如果类别过多(如数百万类)，在含有类别信息这一层会占用大量计算、存储资源，有时甚至会由于需求资源过多而无法训练。而不需要固定类别数目的方法(如triplet loss)往往收敛困难，需要较长的训练时间，且无法训练出类别权重。

针对上述问题，之前的申请201910538093.6解决了部分缺陷，但带了新的问题，即在训练过程中，若是每次使用限定类别数的样本对神经网络分步训练，选取样本时，采用随机的方法，并不能完全利用类别信息，导致训练后的神经网络精度还是不够高，这是其一；其二，目前所采用的神经网络规模较大，如果每次训练都全部更新权重数据，对存储区的读写耗时较大。

发明内容

本发明针对上述现有技术中一个或多个技术缺陷，提出了如下技术方案。

一种基于类别信息对神经网络分步训练的方法，该方法包括：

获取步骤，获取所述神经网络的初始权重数据，并将所述初始权重数据存储在一指定存储区中；

选择步骤，从待训练的N个类别训练样本集合中选择n个未标记类别样本集合；

训练步骤，使用所述选择n个未标记类别样本集合对所述神经网络进行迭代计算得到训练后的神经网络；

更新步骤，将训练后神经网络模型的权重数据更新所述指定存储区中的初始权重数据；

其中，N远大于n，n大于或等于2。

更进一步地，所述样本集合为图像样本集合、文本样本集合或语音样本集合。

更进一步地，所述选择步骤的操作为：从待训练的N个类别训练样本集合中的所有未标记的类别训练样本集合中随机选取一个类别训练样本集合，然后在其余的未标记的类别训练样本集合中选取与选定的类别训练样本集合相似度最近的n-1个类别训练样本集合，然后标记所述n个类别训练样本集合，并将所述n个类别训练样本集合中的样本乱序排列。

更进一步地，如果N个类别训练样本集合中的所有类别均被标记，则将所有标记重置为未标记。

更进一步地，所述更新步骤的操作为：所述初始权重数据按照所述神经网络的层存储在所述指定存储区中，获取训练后神经网络模型的权重数据，确定变化超过第一阈值的权重数据及对应的神经网络的层，基于变化超过第一阈值的权重数据及对应的神经网络的层更新所述指定存储区中的初始权重数据。

本发明还提出了一种基于类别信息对神经网络分步训练的装置，该装置包括：