[发明专利]一种softmax函数的硬件实现方法、模块、芯片和系统

说明书

本发明公开一种softmax函数的硬件实现方法、模块、芯片和系统，属于神经网络多任务分类激活函数的硬件实现技术领域。基于现有技术softmax激活函数的硬件中难以实现的e指数操作和除法操作，硬件实现性能不高等问题，本发明对softmax函数进行变换，在硬件系统构建主控器模块、数据输入模块、计算模块和数据输出模块，在计算模块使用比较、减法、数据分割、移位求和、镜像查找等方法，实现E‑to‑2softmax函数。本发明首先理论分析了E‑to‑2softmax函数的可行性，然后详细介绍函数的硬件实现部分，在硬件实现上避免了softmax函数的e指数运算和除法操作，节省硬件资源，硬件友好性强，具有性能高、复杂度低等特点。

技术领域

本发明涉及神经网络多任务分类激活函数的硬件实现技术领域，更具体地说，涉及一种softmax函数的硬件实现方法、模块、芯片和系统。

背景技术

深度学习作为机器学习的一个子集，通过使用多层数学函数，对数据中的特征进行有效提取与转换。深度学习算法的研究热点之一是激活函数，激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。

softmax函数(归一化指数函数)通常在多分类任务中作为输出层激活函数，作为深度学习中的最后一层用作分类。softmax函数因为具有e指数运算，在DNN的硬件实现中具有相当高的复杂度，同时，在一个高速的神经网络中，需要尽可能少的周期完成softmax函数的计算，即需要尽可能少的时间实现。目前，很多学者研究各种方法来降低其在硬件实现中的复杂度，同时还要兼顾硬件的资源使用和最大程度的降低计算时间。

softmax函数可以用如下公式表达：

由以上公式可知，softmax函数的计算包括e指数运算和除法，所以在硬件系统中并不能直接计算出来。现有技术在函数实现时常使用基于LUT查找表的方法进行计算，查找表方法实现时需要消耗很多的资源；使用基于CORDIC的实现方法相较于查找表的方法，虽然没有消耗很多的资源，但是消耗时间。

综上，现有技术的softmax函数硬件实现，由于函数具有e指数运算和除法计算，带来硬件消耗大和复杂度高的问题，具有硬件不友好型，需要一种硬件友好，性能高的实现方法来支持神经网络的多分类任务问题。

发明内容

1.要解决的技术问题

针对现有技术中存在的softmax函数因为具有e指数运算和除法，硬件实现需消耗过多资源或时间，复杂度高等问题，本发明提供一种softmax函数的硬件实现方法、模块、芯片和系统，对softmax函数进行变换，避免硬件实现中的指数运算和除法运算，实现高性能、低复杂度的softmax函数硬件实现，本发明无需迭代来降低精度，节省计算时间，在神经网络的多分类任务计算时具有较高性能。

2.技术方案

本发明的目的通过以下技术方案实现。

本发明涉及深度学习中用于多分类任务分类激活函数函数实现问题，尤其涉softmax函数的硬件实现。

本发明公开的第一项技术方案，为一种softmax函数的硬件实现方法，在硬件实现前，先对softmax函数进行函数变换，将softmax函数中的底数e换成2，形成E-to-2softmax函数，函数表达式为：

为了避免中间结果数据运算过大问题，对输入数据转化，进行x_i-x_max的运算，操作如下：

通过此法可以有效降低中间数据运算过大问题，也可以减小基于2^x和log₂x的查找表所需要存储数据的范围，进而节省硬件资源。