[发明专利]光滑连续分段构造的激活函数

权利要求书

1.一种计算系统，包括：

一个或多个处理器；和

一个或多个非暂时性计算机可读介质，所述一个或多个非暂时性计算机可读介质存储描述神经网络的数据，所述神经网络包括实现激活函数的一个或多个人工神经元，所述激活函数包括：

两个或更多个分段的部段，所述两个或更多个分段的部段中的每个部段具有一梯度；

所述两个或更多个分段的部段之间的一个或多个过渡点，其中，所述两个或更多个分段的部段以及所述两个或更多个分段的部段的梯度在所述一个或多个过渡点处是连续的；和

限定所述两个或更多个分段的部段的一个或多个激活函数参数，其中，从解集选择所述一个或多个激活函数参数，使得所述两个或更多个分段的部段以及所述两个或更多个分段的部段的梯度在所述一个或多个过渡点中的每一个处是连续的。

2.根据权利要求1所述的计算系统，其中，所述激活函数包括完全停止区域和通过区域。

3.根据权利要求1所述的计算系统，其中，所述激活函数包括泄露区域。

4.根据权利要求1所述的计算系统，其中，所述激活函数是光滑的。

5.根据权利要求1所述的计算系统，其中，所述激活函数是连续的。

6.根据权利要求1所述的计算系统，其中，所述激活函数是单调的。

7.根据权利要求1所述的计算系统，其中，所述两个或更多个分段的部段包括线性部段和二次部段中的至少一个。

8.根据权利要求1所述的计算系统，其中，所述两个或更多个分段的部段包括左线性部段、中间二次部段和右线性部段。

9.根据权利要求1所述的计算系统，其中，所述两个或更多个分段的部段包括非线性部段。

10.根据权利要求1所述的计算系统，其中，所述激活函数穿过原点。

11.根据权利要求1所述的计算系统，其中，所述激活函数被表达为一个或多个移位的修正线性单元函数和一个或多个硬tanh函数中的至少一个的组合。

12.根据权利要求1所述的计算系统，其中，所述一个或多个过渡点关于原点对称。

13.根据权利要求1所述的计算系统，其中，所述激活函数包括左完全停止区域、中间二次区域和右通过区域。

14.根据权利要求1所述的计算系统，其中，所述激活函数包括泄露的或具有负梯度的最左侧的分段的部段。

15.根据权利要求1所述的计算系统，其中，所述激活函数包括左完全停止区域、中间泄露区域和右通过区域。

16.根据权利要求15所述的计算系统，其中，所述左完全停止区域包括左线性部段，其中，所述中间泄露区域包括中间线性部段，并且其中，所述右通过区域包括右线性部段。

17.根据权利要求16所述的计算系统，其中，所述激活函数还包括在所述左线性部段和所述中间线性部段之间的左过渡二次部段，以及在所述中间线性部段和所述右线性部段之间的右过渡二次部段。

18.根据权利要求1所述的计算系统，其中，不同的数学激活被用于所述神经网络的不同层。

19.根据权利要求1所述的计算系统，其中，在针对整个神经网络、单独地针对神经网络的每个层、或单独地针对每个人工神经元中的至少一个进行训练时，学习所述一个或多个激活函数参数和所述两个或更多个分段的部段中的至少一个。