[发明专利]一种神经网络模型的激活函数生成方法

权利要求书

1.一种神经网络模型的激活函数生成方法，其特征在于，步骤如下：

S1、选择多个不同的基本激活函数；

S2、将步骤S1中选择的多个不同的基本激活函数进行组合作为神经网络模型的激活函数；

S3、神经网络模型的激活函数随着神经网络模型的迭代进行更新。

2.根据权利要求1所述的神经网络模型的激活函数生成方法，其特征在于，所述基本激活函数为Sigmoid函数、Tanh函数、ReLU函数、PReLU函数、PELU函数或RReLU函数。

3.根据权利要求1所述的神经网络模型的激活函数生成方法，其特征在于，所述步骤S1中选择2～6个不同的基本激活函数。

4.根据权利要求1所述的神经网络模型的激活函数生成方法，其特征在于，所述步骤S2中多个不同的基本激活函数通过以下方式进行组合得到神经网络模型的激活函数f(x)：

p_n＝1-(p₁+p₂+,…,+p_n-1)；

其中p₁,p₂,…,p_n是各基本激活函数的组合系数，其预先设置的范围为：0～1；为各基本激活函数，n为组合的基本激活函数的个数。

5.根据权利要求4所述的神经网络模型的激活函数生成方法，其特征在于，所述步骤S3中神经网络模型的激活函数随着神经网络的迭代而进行更新的具体过程如下：

S31、首先通过反向传播的算法对当前各基本激活函数i的组合系数p_i′，i＝1,2,…n-1进行参数更新，得到：

其中l为神经网络模型定义的损失函数；p′_i当前各基本激活函数的组合系数，f′(x)为通过当前各基本激活函数的组合系数针对当前各基本激活函数组合得到的神经网络的激活函数；p″_i为更新后的各基本激活函数i的组合系数；其中f′(x)为：

p′_n＝1-(p′₁+p′₂+,…,+p′_n-1)；

S32根据上述更新后的各基本激活函数的组合系数p″_i，i＝1,2,…n-1得到神经网络模型更新后的激活函数f″(x)：

p″_n＝1-(p″₁+p″₂+,…,+p″_n-1)。

6.根据权利要求1所述的神经网络模型的激活函数生成方法，其特征在于，所述步骤S2中多个不同的基本激活函数通过以下方式进行组合得到神经网络模型的激活函数f(x)：

σ_n(w_nx)＝1-(σ₁(w₁x)+σ₂(w₂x)+,…,+σ_n-1(w_n-1x))；

其中σ_i(w_ix)，i＝1,2,…n代表输入为w_ix的Sigmoid函数，w₁,w₂,…,w_n为各基本激活函数的组合系数，为各基本激活函数，n为组合的基本激活函数的个数。

7.根据权利要求6所述的神经网络模型的激活函数生成方法，其特征在于，

所述步骤S3中神经网络模型的激活函数随着神经网络的迭代而进行更新的具体过程如下：

S31、首先通过反向传播的算法对当前各基本激活函数i的组合系数w′_i，i＝1,2,…n-1，进行参数更新，得到：

其中l为神经网络模型定义的损失函数；w′_i当前各基本激活函数的组合系数，f′(x)为通过当前各基本激活函数的组合系数针对当前各基本激活函数组合得到的神经网络的激活函数；w″_i为更新后的各基本激活函数i的组合系数；其中f′(x)为：

σ_n(w′_nx)＝1-(σ₁(w′₁x)+σ₂(w′₂x)+,…,+σ_n-1(w′_n-1x))；

其中σ_i(w′_ix)，i＝1,2,…n代表输入为w′_ix的Sigmoid函数；

S32、根据上述更新后的各基本激活函数的组合系数w″_i，i＝1,2,…n-1得到神经网络模型更新后的激活函数f"(x)：

σ_n(w″_nx)＝1-(σ₁(w″₁x)+σ₂(w″₂x)+,…,+σ_n-1(w″_n-1x))；

其中σ_i(w″_ix)，i＝1,2,…n代表输入为w″_ix的Sigmoid函数。