[发明专利]SiLU激活函数的硬件实现方法、装置及计算设备

说明书

本发明提供了一种SiLU激活函数的硬件实现方法、装置及计算设备，涉及深度学习技术领域，本发明对目标数据进行SiLU激活函数计算时，采用了分段拟合的函数简化方式，包括部分近似、追加补偿的均匀补偿查表算法，因此在保证SiLU函数的精确度的情况下，减少了SiLU函数计算时的硬件消耗和计算时间。

技术领域

本发明涉及深度学习技术领域，尤其是涉及一种SiLU激活函数的硬件实现方法、装置及计算设备。

背景技术

在硬件算力和海量数据的支持下，深度神经网络迅速发展，其凭借出色的特征提取能力被广泛应用于图像识别、工业故障检测以及无人驾驶等领域，激活函数作为神经网络的重要组成部分，其功能是提高神经网络模型的鲁棒性以及非线性表达能力。

SiLU函数是一种常见的人工智能神经网络的激活函数，具有可以避免过拟合、正则化效果优秀、易训练等特点。然而在硬件上实现SiLU函数时，不仅需要消耗大量逻辑资源，而且计算较慢。

发明内容

本发明的目的在于提供一种SiLU激活函数的硬件实现方法、装置及计算设备，以在保证SiLU函数的精确度的情况下，减少SiLU函数计算时的硬件消耗和计算时间。

第一方面，本发明实施例提供了一种SiLU激活函数的硬件实现方法，应用于目标神经网络的激活层，所述激活层为SiLU函数；所述SiLU激活函数的硬件实现方法包括：

获取待处理的目标数据；其中，所述目标数据为所述目标神经网络对原始数据进行处理时，所述激活层的输入数据；

当所述目标数据属于第一区间时，确定第一目标拟合算法为第一正比例函数；其中，所述第一区间为大于或等于预设的第一分段值的区间；

当所述目标数据属于第二区间时，确定第一目标拟合算法为第二正比例函数；其中，所述第二区间为大于或等于预设的第二分段值，且小于所述第一分段值的区间；

当所述目标数据属于第三区间时，确定第一目标拟合算法为均匀补偿查表算法；其中，所述第三区间为大于或等于0，且小于所述第二分段值的区间；

当所述目标数据属于第四区间时，确定第一目标拟合算法为基于绝对值的拟合算法；其中，所述第四区间为小于0的区间；

采用所述第一目标拟合算法，计算得到所述目标数据对应的SiLU函数值。

进一步地，所述第三区间为sigmoid函数变化较快的非负区间，所述均匀补偿查表算法指通过地址补偿在预设存储表中查找相应sigmoid函数值来计算SiLU函数值，所述预设存储表通过地址索引存储有与所述第三区间对应的预设数量个sigmoid函数值。

进一步地，所述第一正比例函数为：

f(x)＝x；

所述第二区间包括多个子区间，每个所述子区间对应不同的第二正比例函数。

进一步地，所述第二区间包括由预设的第三分段值拆分得到的两个子区间，所述第二正比例函数包括：

其中，k₁、k₂均为预设的参数值，a₁为所述第一分段值，a₂为所述第三分段值，a₃为所述第二分段值。

进一步地，所述预设存储表使用预设位数的二进制的地址索引，所述地址索引的第0位为补偿位，所述地址索引的其他位为有效位；所述采用所述第一目标拟合算法，计算得到所述目标数据对应的SiLU函数值，包括：

当所述第一目标拟合算法为均匀补偿查表算法时，将所述目标数据转换为二进制的初始索引地址值；