[发明专利]网络模型训练方法、图像目标识别方法、装置和电子设备

说明书

本申请实施例提供一种网络模型训练方法、图像目标识别方法、装置及电子设备，其中，该训练方法包括：应用与第一网络模型相同的样本对集合训练第二网络模型，当第二网络模型完成本轮迭代训练时，获取第一网络模型对于第一样本对的第一预测结果和第二网络模型的第二预测结果；如果第二预测结果优于第一预测结果，将第一样本对从样本对集合中删除，得到样本对更新集合；基于样本对更新集合确定第二网络模型的总损失函数值；如果总损失函数值大于预设值，应用总损失函数值更新第二网络模型的参数继续进行下一轮迭代训练，直到总损失函数值收敛至预设值为止，得到训练好的第二网络模型。本申请能够在一定程度上提高第二网络模型识别目标的准确度。

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种网络模型训练方法、图像目标识别方法、装置及电子设备。

背景技术

深度神经网络在一些边缘计算设备落地部署的过程中，由于边缘设备无法拥有比拟于服务器设备的运算能力和内存资源，所以对模型小型化技术提出了更高的要求，需要有一个比较完善的技术能从大模型得到小模型，模型蒸馏方法应运而生。模型蒸馏方法以一个高准确率的大模型作为教师指导小模型即学生模型，通过将教师模型的知识传递给学生模型，使学生模型在边缘计算设备上也能有较高的准确率。

在模型蒸馏的过程中，教师模型的知识会直接传递给学生模型，这样会造成教师模型的某些“负面知识”也传递给学生网络，一定程度上影响了学生模型的准确率。

发明内容

有鉴于此，本发明的目的在于提供一种网络模型训练方法、图像目标识别方法、装置及电子设备，以提升学生模型的准确度。

第一方面，本发明实施例提供了一种网络模型训练方法，其中，该方法应用于服务器，包括：应用与第一网络模型相同的样本对集合训练第二网络模型，其中，所述第一网络模型的计算量大于所述第二网络模型的计算量；当第二网络模型完成本轮迭代训练时，获取第一网络模型对于第一样本对的第一预测结果和第二网络模型对于第一样本对的第二预测结果；如果第二预测结果优于第一预测结果，将第一样本对从样本对集合中删除，得到样本对更新集合；基于样本对更新集合确定第二网络模型的总损失函数值；如果总损失函数值大于预设值，应用总损失函数值更新第二网络模型的参数，并应用样本对集合对更新后的第二网络模型继续进行下一轮迭代训练，直到总损失函数值收敛至预设值为止，得到训练好的第二网络模型。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，获取第一网络模型对于第一样本对的第一预测结果和第二网络模型对于第一样本对的第二预测结果的步骤，包括：计算第一网络模型对于第一样本对的第一特征距离，计算第二网络模型对于第一样本对的第二特征距离；基于第一网络模型计算第一样本对所属样本类的第一特征距离均值，基于第二网络模型计算第一样本对所属样本类的第二特征距离均值；其中，样本类包括同类样本或异类样本；应用第一特征距离均值对第一特征距离进行归一化处理，将第一特征距离归一化结果作为第一网络模型对于第一样本对的第一预测结果；应用第二特征距离均值对第二特征距离进行归一化处理，将第二特征距离归一化结果作为第二网络模型对于第一样本对的第二预测结果。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，特征距离为第一样本对的特征对应的欧式距离或余弦相似度。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，上述方法还包括：基于第一样本对所属样本类，通过比较第一预测结果和第二预测结果，判断第二预测结果是否优于第一预测结果。