[发明专利]用于提升深度学习网络预测性能的方法、装置及存储介质

说明书

本申请涉及一种用于提升深度学习网络预测性能的方法、装置及储存介质，属于人工智能及计算机技术领域，该方法包括：利用预先设置的训练集对第一神经网络模型进行m轮次迭代训练；利用预先设置的验证集对训练得到的神经网络模型进行验证；基于训练得到的神经网络模型所应用的场景确定出对应的性能指标；从m轮次迭代训练得到的神经网络模型中选择确定出的性能指标达到融合标准的多个神经网络模型；获取选择的多个神经网络模型的网络参数，将多个神经网络模型的网络参数融合；将融合后的网络参数赋给第二神经网络模型得到具有融合后的网络参数的神经网络模型；不仅未增加训练模型的时间，还可以提高网络预测效率，也可以满足应用场景的不同需求。

技术领域

本申请涉及一种用于提升深度学习网络预测性能的方法、装置及存储介质，属于人工智能及计算机技术领域。

背景技术

深度学习是指多层神经网络上运用各种机器学习(Machine Learning)算法解决图像、文本等各种问题的算法集合。深度学习的核心是特征学习，旨在通过分层网络获取分层次的特征信息。为了提高神经网络模型的预测准确性，可通过对多种情况下的神经网络模型进行融合处理。

模型融合包括单模型融合和多模型融合。单模型融合包括多层特征融合和网络快照融合，多层特征融合是将不同层具有互补信息的特征进行一定的融合；网络快照融合是利用网络解空间中的各个局部最优解进行模型融合。多模型融合包括基于同一神经网络模型不同初始化网络参数的多模型融合、基于同一神经网络模型不同训练轮数的多模型融合、基于不同损失函数的多模型融合、基于不同网络结构的多模型融合等。

然而，无论是单模型融合还是多模型融合，虽然通过在模型层面的融合能够提升网络的最终预测能力，但是在开发过程中要训练多种情况下的神经网络模型且在预测时要计算多种情况下的神经网络模型的结果，会增加网络模型的训练时间，还会降低网络预测的效率。

发明内容

本申请提供了一种用于提升深度学习网络预测性能的方法、装置及存储介质，可以解决通过单模型融合或者多模型融合来提升深度学习网络预测性能时训练时间较长和预测时间较长的问题。本申请提供如下技术方案：

第一方面，提供了一种用于提升深度学习网络预测性能的方法，所述方法包括：

利用预先设置的训练集对第一神经网络模型进行m轮次迭代训练，所述m为正整数；

利用预先设置的验证集对训练得到的神经网络模型进行验证，获取每轮训练得到的神经网络模型的多项性能指标；

基于所述训练得到的神经网络模型所应用的场景确定出对应的性能指标；

从所述m轮次迭代训练得到的神经网络模型中选择确定出的性能指标达到融合标准的多个神经网络模型；

获取选择的多个神经网络模型的网络参数；

将所述多个神经网络模型的网络参数融合，得到融合后的网络参数；

将所述融合后的网络参数赋给所述第二神经网络模型，得到具有所述融合后的网络参数的神经网络模型，所述第二神经网络模型的网络结构与所述第一神经网络模型的网络结构相同。

可选地，所述将所述多个神经网络模型的网络参数融合，得到融合后的网络参数，包括：

所述根据加权平均法将所述多个神经网络模型的网络参数融合，得到所述融合后的网络参数，包括：

设定所述验证集的基础性能指标；

确定每个选择的神经网络模型的性能指标与所述基础性能指标之间差值，得到性能指标差值；

确定各个性能指标差值之间的和，得到性能指标差值和；