[发明专利]光滑连续分段构造的激活函数

说明书

本公开的各方面涉及能够在神经网络中实现改善的可再现性和准确率折衷的新颖的激活函数。特别地，本公开提供了一系列激活函数，所述激活函数一方面是光滑的、具有连续的梯度并且可选地是单调的，但是另一方面还模仿了修正线性单元(ReLU)的数学行为。作为示例，本文描述的激活函数包括光滑的修正线性单元函数并且还包括这样的函数的泄露版本。在各种实现方式中，提出的函数可以提供完全停止区域和恒定正梯度(例如，可以为1)通过区域(如ReLU)两者，从而匹配ReLU的准确率性能。附加的实现方式包括泄露版本和/或函数，其在通过区域中具有不同的恒定梯度。

相关申请的交叉引用

本申请要求于2019年10月31日提交的美国临时专利申请第62/928,463号和2020年6月16日提交的美国专利申请第16/902,547号的优先权和权益，通过引用将这两个申请的全部内容合并于此。

技术领域

本公开总体上涉及神经网络，并且更具体地，涉及神经网络的激活函数。

背景技术

神经网络，也称为人工神经网络，包括一类机器学习模型，这些机器学习模型包括一组连接的节点，也可以称为神经元或感知器。神经网络可以被组织成一层或多层。包括多层的神经网络可以称为“深度”网络。神经网络中的每个节点可以包括激活函数。给定一组输入，激活函数可以限定节点的输出。神经网络的输入可以经由激活函数传播通过节点的各个层，以计算神经网络的输出。

发明内容

本公开的实施例的方面和优点将在以下描述中部分地阐述，或者可以从描述中获悉，或者可以通过实施例的实施而获知。

本公开的一个示例方面涉及一种计算系统，所述计算系统包括一个或多个处理器；和一个或多个非暂时性计算机可读介质，所述一个或多个非暂时性计算机可读介质存储描述神经网络的数据，所述神经网络包括实现激活函数的一个或多个人工神经元。所述激活函数包括两个或更多个分段的部段，所述两个或更多个分段的部段中的每个部段具有梯度。所述激活函数包括两个或更多个分段的部段之间的一个或多个过渡点，其中，所述两个或更多个分段的部段以及所述两个或更多个分段的部段的梯度在所述一个或多个过渡点处是连续的。所述激活函数包括限定两个或更多个分段的部段的一个或多个激活函数参数，其中，从解集选择所述一个或多个激活函数参数，使得所述两个或更多个分段的部段以及所述两个或更多个分段的部段的梯度在所述一个或多个过渡点中的每一个处是连续的。

在一些实现方式中，激活函数包括完全停止区域和通过区域。

在一些实现方式中，激活函数包括泄露区域。

在一些实现方式中，激活函数是光滑的。

在一些实现方式中，激活函数是连续的。

在一些实现方式中，激活函数是单调的。

在一些实现方式中，两个或更多个分段的部段包括线性部段和二次部段中的至少一个。

在一些实现方式中，两个或更多个分段的部段包括左线性部段、中间二次部段和右线性部段。

在一些实现方式中，两个或更多个分段的部段包括非线性部段。

在一些实现方式中，激活函数穿过原点。

在一些实现方式中，激活函数被表示为一个或多个移位的修正线性单元函数和一个或多个硬tanh函数中的至少一个的组合。

在一些实现方式中，一个或多个过渡点关于原点对称。

在一些实现方式中，激活函数包括左完全停止区域、中间二次区域和右通过区域。

在一些实现方式中，激活函数包括泄露或具有负梯度的最左侧的分段的部段。

在一些实现方式中，激活函数包括左完全停止区域、中间泄露区域和右通过区域。