[发明专利]一种机器学习神经网络模型优化方法、系统与设备

说明书

本发明提供了一种机器学习神经网络模型优化方法、系统与设备，所述方法包括下述步骤：1)建立系统的非凸损失函数，并将其一般化为非凸非线性优化问题；2)利用群搜索变参递归神经网络进行求解非凸非线性优化问题；3)根据步骤2中所求解的参数，优化机器学习中神经网络的参数，使损失函数最小。本发明结合双时间尺度神经动力学和粒子群算法的思想，得到一种新型的群体探索神经动态网络来求解机器学习中神经网络的非凸损失函数优化问题。本发明拥有在一次迭代中搜索全局最优解的能力，大大提高了模型求解效率，保证了损失函数达到最优值，从而可以得到优化后的机器学习模型，通过该机器学习模型可以有效提高在图像识别或图像分类中的精度。

技术领域

本发明属于人工智能规划优化技术领域，具体涉及一种机器学习神经网络模型优化方法与系统。

背景技术

机器学习在人工智能领域非常重要且有着广泛应用，如图像识别、图像分类等等。机器学习中关键的一个组成部分就是损失函数优化，损失函数就是用来衡量机器学习模型的输出与实际输出之间的差距的函数。通过优化该函数即可得到最优的机器学习模型。损失函数模型通常是非凸非线性的函数模型，但是优化问题通常难以求解。在目前的损失函数优化技术中，大多采用松弛技术，将非凸优化松弛为一个凸优化，再进行求解，该方法无法得到较优的机器学习模型。洪金华等在专利文献“一种基于L1/2正则化的三维人体姿态重构方法”，将非凸优化进行凸松弛处理，将非凸优化问题转化为凸优化，再利用交替方向乘子法进行求解。这种凸松弛技术无法得到非凸优化问题的最优解，同时会增加计算难度。邢薇薇等在专利申请文献“基于优化方差下降的计算机视觉单目标跟踪方法”在设计了基于非凸优化的随机方差下降梯度的深度神经网络模型，但随机梯度模型只能求解一个局部最优解，无法求解全局最优解。由于人工神经网络的发展，许多学者利用人工递归神经网络来优化非凸损失函数，现存的求解非凸问题的递归神经网络只能通过反复迭代寻找到某个全局最优点，这带来了计算时间长、复杂程度大等缺点，从而无法快速得到最优的网络模型。

发明内容

为了克服现有技术存在的缺陷与不足，本发明提供一种机器学习神经网络模型优化方法，能够在一次迭代过程中搜索非凸损失函数的全局最优解，基于该全局最优解可以优化神经网络模型，从而通过该神经网络模型可以提高在图像识别的识别精度或分类中的分类精度。

为了实现上述发明目的，本发明提供的一种机器学习神经网络模型优化方法，包括以下步骤：

1)建立机器学习中的神经网络模型，建立非凸损失函数，并将非凸损失函数转化为非凸非线性规划模型；

2)将步骤1)中的非凸非线性规划模型进行局部近似二次规划，得到局部近似二次规划模型，并使用变参收敛微分神经动力学设计方法得到用于求解局部近似二次规划模型的变参收敛微分神经网络模型；

3)结合双时间尺度网络和步骤2)中的变参收敛微分神经网络模型，得到双时间尺度收敛微分模型；

4)结合粒子群算法的思想和步骤3)中的双时间尺度收敛微分模型，得到群体探索神经动态网络；

5)调用并求解步骤4)中得到的群体探索神经动态网络，得到的最优值作为步骤1)中非凸损失函数的最优参数；

6)将步骤5)中得到的最优参数返回给下位机，优化机器学习中的神经网络模型。

进一步地，所述非凸非线性规划模型为

s.t.h(x)＝0

g(x)≤0#(1)