[发明专利]SiLU激活函数的硬件实现方法、装置及计算设备

权利要求书

1.一种SiLU激活函数的硬件实现方法，其特征在于，应用于目标神经网络的激活层，所述激活层为SiLU函数；所述SiLU激活函数的硬件实现方法包括：

获取待处理的目标数据；其中，所述目标数据为所述目标神经网络对原始数据进行处理时，所述激活层的输入数据；

当所述目标数据属于第一区间时，确定第一目标拟合算法为第一正比例函数；其中，所述第一区间为大于或等于预设的第一分段值的区间；

当所述目标数据属于第二区间时，确定第一目标拟合算法为第二正比例函数；其中，所述第二区间为大于或等于预设的第二分段值，且小于所述第一分段值的区间；

当所述目标数据属于第三区间时，确定第一目标拟合算法为均匀补偿查表算法；其中，所述第三区间为大于或等于0，且小于所述第二分段值的区间；

当所述目标数据属于第四区间时，确定第一目标拟合算法为基于绝对值的拟合算法；其中，所述第四区间为小于0的区间；

采用所述第一目标拟合算法，计算得到所述目标数据对应的SiLU函数值。

2.根据权利要求1所述的SiLU激活函数的硬件实现方法，其特征在于，所述第三区间为sigmoid函数变化较快的非负区间，所述均匀补偿查表算法指通过地址补偿在预设存储表中查找相应sigmoid函数值来计算SiLU函数值，所述预设存储表通过地址索引存储有与所述第三区间对应的预设数量个sigmoid函数值。

3.根据权利要求1所述的SiLU激活函数的硬件实现方法，其特征在于，所述第一正比例函数为：

f(x)＝x；

所述第二区间包括多个子区间，每个所述子区间对应不同的第二正比例函数。

4.根据权利要求3所述的SiLU激活函数的硬件实现方法，其特征在于，所述第二区间包括由预设的第三分段值拆分得到的两个子区间，所述第二正比例函数包括：

其中，k₁、k₂均为预设的参数值，a₁为所述第一分段值，a₂为所述第三分段值，a₃为所述第二分段值。

5.根据权利要求2所述的SiLU激活函数的硬件实现方法，其特征在于，所述预设存储表使用预设位数的二进制的地址索引，所述地址索引的第0位为补偿位，所述地址索引的其他位为有效位；所述采用所述第一目标拟合算法，计算得到所述目标数据对应的SiLU函数值，包括：

当所述第一目标拟合算法为均匀补偿查表算法时，将所述目标数据转换为二进制的初始索引地址值；

根据所述初始索引地址值中补偿位的值，对所述初始索引地址值进行修正，得到目标索引地址值；

根据所述目标索引地址值，在所述预设存储表中查找得到相应sigmoid函数值；

根据所述相应sigmoid函数值，计算得到所述目标数据对应的SiLU函数值。

6.根据权利要求5所述的SiLU激活函数的硬件实现方法，其特征在于，所述根据所述相应sigmoid函数值，计算得到所述目标数据对应的SiLU函数值，包括：

将所述相应sigmoid函数值带入如下公式，计算得到所述目标数据对应的SiLU函数值：

f(x)＝x·s(x)，x∈[0，a₃)；

其中，s(x)为所述相应sigmoid函数值。

7.根据权利要求1所述的SiLU激活函数的硬件实现方法，其特征在于，所述采用所述第一目标拟合算法，计算得到所述目标数据对应的SiLU函数值，包括：

当所述第一目标拟合算法为基于绝对值的拟合算法时，计算得到所述目标数据的绝对值；

基于所述目标数据的绝对值所属的区间，确定第二目标拟合算法；其中，所述第二目标拟合算法包括所述第一正比例函数、所述第二正比例函数或所述均匀补偿查表算法；

采用所述第二目标拟合算法，计算得到所述目标数据的绝对值对应的SiLU函数值；

根据所述目标数据的绝对值对应的SiLU函数值，计算得到所述目标数据对应的SiLU函数值。