[发明专利]浮点运算定点化方法及系统

说明书

本发明公开了一种浮点运算定点化方法，包括以下步骤：根据预设的数值范围以及计算的精度需求，调整可调精度浮点数据的指数和有效位，预先将单精度浮点格式的参数数据转换为可调精度浮点数据；计算时将所述可调精度浮点数据转换为定点数据并用于计算，并将计算产生的中间结果转换为可调精度浮点数据；待全部计算完成后产生最终结果，将最终结果转换为单精度浮点格式数据。本发明可以用16位位宽或是更小的位宽表示标准浮点数据，实现浮点运算定点化的转换，从而节省存储空间和提升运算性能，且几乎不影响计算精度。

【技术领域】

本发明涉及可编程处理器，尤其涉及了一种浮点运算定点化方法及系统。

【背景技术】

目前，由于深度学习算法的不断进步，人工智能技术取得了巨大突破。在深度学习中，机器可以在监督或不受监督的方式下从大量数据中学习一项任务。大规模监督式学习已经在机器视觉、语音识别、自然语言处理等应用领域取得成功。而人工神经网络(ArtificialNeuralNetwork)目前在深度学习领域应用最为广泛，用神经网络识别和分类需要进行大量的浮点运算，因此计算硬件已成为目前神经网络应用中最主要的瓶颈。而且随着计算数据量的大幅增加，深度学习转移到云平台时，对负责神经网络运算的硬件性能提出了更高的要求。

在神经网络运算方面，业内通常采用高性能GPU(GraphicsProcessingUnit，图形处理器)来提升计算效率，并取得了显著的加速效果，但GPU在带来高性能计算的同时存在高功耗的缺点，使其在应用环境上有所限制。相比GPU，FPGA(FieldProgrammableGateArray，可编程逻辑门阵列)可以在较低功耗下实现并行处理和计算，并能灵活实现各种不同的神经网络架构，作为一种既能加速算法又能不显著增加功耗的计算平台在神经网络加速计算方面适用于更多的应用场合，特别是当应用在数据中心时有其独特优势。

单精度浮点数为IEEE标准754浮点数格式之一。IEEE标准754采用{S，E，M}表示一个浮点数N，N的实际值n由公式n＝(-1)^s×1.m×2^e表示。N，S，E，M采用二进制表示，n，s，e，m分别为N，S，E，M对应的实际数值。S表示N的符号位。对应值s满足：n＞0时，s＝0；n＜0时，s＝1。E表示N的指数位，位于S和M之间的若干位。对应值e值也可正可负。M表示N的有效数位，它位于N末尾，为有效数的小数部分。有效数为1.m，1为隐含位是多出来的1位精度。对于单精度浮点数，E的位宽为8位，M的位宽为23位，总共32位；对于半精度浮点数，E的位宽为5位，M的位宽为10位，总共16位。关于浮点数的详细说明参见IEEE标准754，在此不再赘述。

神经网络的识别分类需要进行大量的浮点运算，但是相比GPU，目前FPGA的浮点计算资源主要是支持浮点运算的DSP(DigitalSignalProcessor，数字信号处理器)数量有限，使其在计算性能上并不占优势。同时由于神经网络一般使用单精度浮点格式表示数据，单精度浮点数据的位宽达到32位，虽然精度较高，但使FPGA在和DDR读写数据时效率较低，并使FPGA需要使用较多的逻辑资源用于浮点数据的传输处理以及较多的RAM资源用于浮点数据的存储，资源占用较多不利于FPGA的时序收敛，会导致FPGA的性能受限以及产生更大的功耗。以上的这些问题都会导致FPGA在进行浮点运算时性能较低。

目前在深度学习领域有一种采用较小位宽的定点数据的优化方法，这种方法由于数据降低到了比较小的位宽例如8位，能够提升数据的传输存储效率、降低资源消耗以及提升计算性能，但是只能针对特定的神经网络，其网络参数需要专门的训练，对于一般已有的采用浮点数据运算的神经网络无法满足计算精度要求，会引起神经网络的识别分类结果产生较大偏差。

【发明内容】

本发明针对现有技术中采用标准浮点数据运算的神经网络无法满足计算性能要求这个缺点，提供了一种浮点运算定点化方法及系统。

为了解决上述技术问题，本发明通过下述技术方案得以解决：