[发明专利]一种机器学习神经网络模型优化方法、系统与设备

权利要求书

1.一种机器学习神经网络模型优化方法，其特征在于，包括以下步骤：

1)建立机器学习中的神经网络模型，建立非凸损失函数，并将非凸损失函数转化为非凸非线性规划模型；

2)将步骤1)中的非凸非线性规划模型进行局部近似二次规划，得到局部近似二次规划模型，并使用变参收敛微分神经动力学设计方法得到用于求解局部近似二次规划模型的变参收敛微分神经网络模型；

3)结合双时间尺度网络和步骤2)中的变参收敛微分神经网络模型，得到双时间尺度收敛微分模型；

4)结合粒子群算法的思想和步骤3)中的双时间尺度收敛微分模型，得到群体探索神经动态网络；

5)调用并求解步骤4)中得到的群体探索神经动态网络，得到的最优值作为步骤1)中非凸损失函数的最优参数；

6)将步骤5)中得到的最优参数返回给下位机，优化机器学习中的神经网络模型。

2.根据权利要求1所述的一种机器学习神经网络模型优化方法，其特征在于，步骤2)中，所述非凸非线性规划模型为

s.t.h(x)＝0

g(x)≤0#(1)

其中，x∈Rⁿ为非凸损失函数的参数，f：Rⁿ→R是非凸损失函数，h：Rⁿ→R^m表示可微的等式约束，g：Rⁿ→R^p为可微的不等式约束，R表示实数，Rⁿ表示n维实数，R^m表示m维实数，R^p表示p维实数。

3.根据权利要求2所述的一种机器学习神经网络模型优化方法，其特征在于，对非凸非线性规划模型进行求解，首先对每个点x都有一个非线性规划模型的局部近似二次规划模型

其中，y∈Rⁿ为一个指示下降方向的方向向量，Q(x)∈R^n×n是一个近似二次规划模型的Lagrange函数的Hessian矩阵的对称正定矩阵，代表梯度符号；局部近似二次规划模型重写为

s.t.Ay＝b

Cy≤d#(3)

其中，Q＝Q(x)、b＝-h(x)、d＝-g(x)；

其中，采用公式(2)的局部近似二次规划模型的的KKT条件来求解公式(3)：

其中，和表示Lagrange乘子，算子表示Hadamard积，y^*表示优化问题的一个解。

4.根据权利要求3所述的一种机器学习神经网络模型优化方法，其特征在于，将公式(4)的KKT条件替换为带有平滑Fischer-Burmeister函数的KKT条件：

其中σ表示一个接近于0的正数。

5.根据权利要求1所述的一种机器学习神经网络模型优化方法，其特征在于，步骤3)中所述变参收敛微分网络模型为

其中，γ_Z表示时间尺度变量，ψ(·)表示激活函数，表示z的导数，diag表示一个向量的对角矩阵，表示Hadamard除法，μ_E，μ_I均表示Lagrange乘丁，I表示单位矩阵。

6.根据权利要求1所述的一种机器学习神经网络模型优化方法，其特征在于，步骤3)中所述双时间尺度收敛微分模型表示为如下的形式：

其中，Ψ为线性激活函数，γ_x与γ_z为不同的时间尺度变量。