[发明专利]一种应用于神经网络的SQRT激活方法

权利要求书

1.一种新的神经网络的激活方法，其特征在于，该方法使用平方根函数作为神经网络激活函数，在神经网络的训练过程中，数据经线性单元正向传播后，进入激活单元进行激活，激活单元使用平方根函数作为激活函数，将线性单元的每个输出值求其平方值后输出给下一层网络完成激活；数据经线性单元反向传播后，同上进入激活单元激活，此时激活单元使用相应的平方根函数的导数作为激活函数，将线性单元传回的梯度值求平方根导数，然后传递给上一层网络完成误差的反向传播。

2.根据权利要求1所述的一种新的神经网络的激活方法，其特征在于，具体方法过程表征为：

(1)建立神经网络模型，具体实施过程：

(11)根据相应样本要求，选择合适的线性过滤器组成神经网络的线性单元；激活单元使用平方根函数作为激活函数构成；线性单元与激活单元构成一层神经网络，多层神经网络叠加构成神经网络模型，其中层数根据样本要求具体选择；

(12)依据样本特征选择适应的损失函数作为神经网络的顶层，与多层神经网络连接一起完成神经网络模型的构建；

(2)对神经网络进行初始化

完成神经网络的搭建后，采用Xavier随机化方法(此技术已属现有技术)对步骤(1)中构建的神经网络模型进行相应的权重、参数初始化，完成神经网络训练的准备工作

(3)神经网络模型进行训练，激活过程中使用SQRT激活方法，具体实施过程：

本发明的平方根函数属于单调递增函数、成中心对称且其导数收敛于0，因此可以使用SQRT激活方法对步骤(1)中构建的神经网络进行激活；算法步骤如下：

(31)神经网络正向传播数据，样本信息经过下层线性单元计算传播至激活单元；

(32)输入数值，计算其中x_i是第i个通道的激活神经元对应的输入数值；将每个激活单元所得的计算结果输出、传播至上层神经网络，完成对样本数据的激活；

(33)样本经过多层网络处理后进入顶层，由顶层损失函数计算误差及相应梯度值，并反向传播误差及梯度信息；

(34)神经网络反向传播误差，梯度信息经过上层线性单元计算再传播至激活单元；

(35)输入数值，计算其中x_i是第i个通道的激活神经元对应的输入数值；将每个激活单元所得的计算结果输出、传播至下层神经网络，完成对梯度误差的激活与反向传播；

(4)神经网络模型进行测试及使用过程，激活过程中使用SQRT激活方法，具体实施过程：

(41)神经网络正向传播数据，测试样本经过下层线性单元计算，结果传播至激活单元；

(42)输入数值，计算其中x_i是第i个通道的激活神经元对应的输入数值；将每个激活单元所得的计算结果输出，并传播至上层神经网络，完成对样本数据的激活。