[发明专利]基于非校验集预测图像识别模型泛化误差的方法及系统

说明书

本发明公开了一种基于非校验集预测图像识别模型泛化误差的方法及系统，属于深度学习优化与泛化领域，方法包括：在每一个训练回合结束后，随机采样K组训练图片，使用模型优化器计算K组训练图片对应图像识别模型的参数更新量；利用参数更新量，得到对应的K个更新后的模型，并记录K个更新后的模型对各张训练图片的输出；计算各张训练图片的输出的方差值，使用输出模长对方差值进行归一化，得到输出相对方差；以输出相对方差预测图像识别模型的泛化误差在训练过程中的变化趋势。如此，本发明不需要使用校验集故能够将所有的训练样本投入训练，从而获得更好的泛化性能；另外该过程只需要训练一轮神经网络，减少了多次训练带来的能量与硬件的损耗。

技术领域

本发明属于深度学习优化与泛化领域，更具体地，涉及一种基于非校验集预测图像识别模型泛化误差的方法及系统。

背景技术

机器学习作为目前人工智能的研究热点，常用于挖掘数据之间的潜在关系。近几年，基于数据驱动的机器学习算法在生物、医疗、金融、军事等各个领域都取得了卓越的成绩。随着数据与算力的提升，深度学习作为一种能很好处理图像的机器学习算法，成为了目前的研究热点并被广泛应用于各行各业。

虽然深度学习在图像识别的任务上具有良好的表现，但是其尚存在着诸多问题亟待解决与研究。用于图像识别的神经网络模型在训练过程中存在着复杂的泛化现象，如现有技术中提到的训练过程中的测试误差二次下降现象：随着训练回合数的增加，神经网络在图像测试集上的误差先下降，然后由于过拟合开始上升，最后在某个时候又会再次下降。这些复杂的泛化现象使得在训练过程中预测模型泛化误差的变化趋势尤为重要。目前最常用的预测手段为将图像训练集划分出一部分作为校验集，然后图像识别模型在剩下的训练集上进行训练而在校验集上计算误差从而来预测测试误差的变化趋势，最后通过预测的测试误差变化趋势来进行如早停等其他下游处理。

虽然使用校验集信息来预测图像识别模型训练过程中泛化误差曲线的方法简单实用，但是校验集划去了部分的训练图片，往往使得预测的泛化误差曲线跟实际中使用所有训练样本训练时的泛化误差曲线不太一致，从而影响到后续的早停等处理；除此之外，由于划分校验集而导致的训练图片数量的减少也常常会带来泛化性能的下降。后者可以通过两轮的训练来减轻，即先将训练集划分出一部分作为校验集，然后通过检验校验集上的结果来确定训练的回合数，最后将校验集并入训练集整体从而在所有图片上训练同样的回合数；但是由此增加的训练代价又会使得硬件与能源的损耗成为新的问题，同时这种流程依然没有办法保证训练图片数量不同的情况下泛化误差曲线一致变化。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于非校验集预测图像识别模型泛化误差的方法及系统，由此解决现有图像识别模型训练过程中使用校验集预测泛化性能时存在的多次训练代价大、预测不准的技术问题。

为实现上述目的，一方面，本发明提供了一种基于非校验集预测图像识别模型泛化误差的方法，包括以下步骤：

(1)在每一个训练回合结束后，随机采样K组训练图片，使用模型优化器计算所述K组训练图片对应的图像识别模型的参数更新量；

(2)利用所述参数更新量，得到对应的K个更新后的模型，并记录所述K个更新后的模型对各张训练图片的输出；

(3)计算所述各张训练图片的输出的方差值，使用输出模长对所述方差值进行归一化，得到输出相对方差；以所述输出相对方差预测所述图像识别模型的泛化误差在训练过程中的变化趋势。

进一步地，所述图像识别模型的参数更新量为参数更新梯度。

进一步地，所述模型优化器包括ADAM优化器、SGD优化器。

进一步地，所述输出相对方差RV表示为：

其中，n为图片样本数，i＝1,2,……,n，j＝1,2,……,K，f表示图像识别模型。