[发明专利]一种基于分段查找表的softmax函数计算方法及硬件系统

说明书

本发明公开了一种基于分段查找表的softmax函数计算方法和硬件系统。该方法采用一种分段查找表的方式来实现softmax函数的计算，将‑9.9999999～‑9.9900000的数据都以1个‑9.99表示，以此类推分N段，这样查找表的存储数据个数为N*899个，实际中为了方便查找，将900～1023，1924～2047等地址空出来，则查找表也就扩充到N*1024，输入数据精度可达10^‑N‑1，本发明远小于传统查找表大小，让查找表在硬件上的的存储资源大大降低。硬件系统采用Xilinx ZYNQ平台。该方法在保证输入数据与计算结果精度的前提下，相比于传统的查找表方法减小了查找表大小，也不需要其它非查找表方法里的硬件计算，降低了硬件的面积功耗需求。

技术领域

本发明属于神经网络的硬件加速领域，涉及一种基于分段查找表的softmax函数计算方法及硬件系统。

背景技术

人工神经网络目前广泛应用于人工智能的应用当中，如图像识别、语音助手等。而随着神经网络规模的逐渐增大，其计算量也急剧上升，传统的通用芯片在处理复杂神经网络时受到了带宽与功耗的限制。因此，专用的神经网络加速硬件开始得到重视，其能耗更低，性能更高。而在传统的人工神经网络中，softmax函数被广泛应用于最后一层用于输出值的计算。因此，softmax函数的硬件实现方法也是神经网络加速硬件的一个重要组成部分。

从softmax函数的数学表达式中可以看出，在硬件实现时，其最主要的计算部分就在于e指数的计算。而对于在硬件上实现e指数计算来说，有以下几种方法：

1)查找表：这是最简单的一钟实现方法，实现将可能取到的e指数值计算好，保存在查找表中，硬件就用一部分资源比如ROM存储查找表。在实际计算过程中，直接根据输入数据就能查找到相应地址的e指数值。这种方法不消耗任何计算资源，但在精度要求高的情况下，查找表的面积就会比较大，会消耗较大的硬件存储资源。

2)多项式拟合：通过多项式函数拟合不同数据范围内的e指数函数，这种方法相比于简单的查找表方法来说，硬件只需存储多项式函数的几个系数值就可以计算比较大数据范围的e指数值，大大降低了硬件存储资源消耗。但是在实际计算过程中还需要进行多项式计算，在精度要求高时需要的多项式阶数高，从而会有大量的乘法运算，这不但会消耗硬件的计算资源，也增大了计算延时。

3)CORDIC算法：这是一种坐标旋转数字的计算方法，几乎没有硬件存储需求，但是计算过程比较复杂，运算时间长，精度也不够高。

4)文章“Efficient Hardware Architecture of Softmax Layer in DeepNeural Network”,DSP 2018提出了一种使用整数随机计算(Integral StochasticComputing)的方法计算e指数，降低了硬件的面积与功耗，但是最终的计算准确率仅96％，无法达到准确的要求。

发明内容

本发明的目的是为了在较大的输入精度与范围的情况下使得softmax函数的计算误差很小，同时降低硬件消耗的面积与功耗。其采用的技术方案是基于分段查找表的softmax函数的硬件实现，具体内容如下：

待计算的softmax函数的数学表达式如下：

本发明在计算softmax函数值时首先将输入数据经过预处理将最大值减去，根据简单的数学推导可知这样处理以后softmax计算结果不变，而数据都转换为了负数。

输入硬件的数据需为定点数，因此会先将预处理以后的数据定点化。定点化后的数据输入硬件后以其作为分段查找表的索引地址得到相应的e指数值，然后累加得到所有e指数的和，再将每个输入数据的e指数与和做除法就得到了计算的softmax结果。