[发明专利]数据定点化方法和装置

说明书

一种数据定点化方法和装置、数据处理方法和装置以及数据对齐方法和装置，其中数据定点化方法包括：计算多个输入样本中每个输入样本在神经网络的第一目标层的最大输出值(S110)；从多个最大输出值中选取至少两个最大输出值作为定点参考值(S120)；根据每个定点参考值确定参考整数部分位宽(S130)；基于预设的输出值总位宽和每个参考整数部分位宽进行准确率测试，将使得准确率最高的参考整数部分确定为第一目标层在输出值定点化时使用的整数部分位宽(S140)。该方法通过从第一目标层的多个最大输出值中选取多个值作为定点参考值，确定每个定点参考值对应的参考整数部分位宽，并基于准确率测试确定最优的整数部分位宽，根据最优的整数部分位宽使得定点化后网络可以在传递更多的有用信息同时保持较高的精度，提高网络的表达能力和准确率。

版权申明

本专利文件披露的内容包含受版权保护的材料。该版权为版权所有人所有。版权所有人不反对任何人复制专利与商标局的官方记录和档案中所存在的该专利文件或者该专利披露。

技术领域

本申请涉及数据处理领域，尤其涉及数据定点化方法和装置。

背景技术

当前主流的神经网络计算框架中，基本都是利用浮点数进行训练计算的。其中，神经网络的反向传播过程中，梯度的计算需要基于浮点数表示，以保证足够的精度；神经网络的前向传播过程的各层，尤其是卷积层和全连接层的权重系数和各层的输出值也均以浮点数表示。但是，前向传播过程中，基于浮点数的运算相比基于定点数的运算的逻辑设计更复杂，会消耗更多的硬件资源，功耗也更高。基于定点数的硬件逻辑设计相较于基于浮点数的硬件逻辑设计更友好。

业界的相关公司通常通过最小化数值误差将训练时用浮点数表示的各层输出值和权重系数转换为定点数表示。即，为输出值设置优化目标函数，根据优化目标函数，在给定位宽的条件下，找到使得输出值定点截断后得到的数与浮点数误差最小时的小数位位宽。权重系数的定点化也以类似的原理实现。然而，以优化目标函数的误差最小确定定点位置，得到的定点化结果可能很糟糕。仍以输出值为例，其主要原因在于，输出值中最重要的信息往往是由数值比较大的输出值决定的，而其占比通常比较小。以该定点化方法得到的定点位置进行定点化时，虽然截断率比较低，但往往会把最有用的高位信息剔除掉，从而影响网络的表达能力，造成网络的准确率下降。

发明内容

本申请提供了一种数据定点化方法和装置，使得定点化后网络可以在传递更多的有用信息同时保持较高的精度，从而提高网络的表达能力和准确率。

第一方面，提供了一种数据定点化方法，包括：计算多个输入样本中每个所述输入样本在神经网络的第一目标层的最大输出值；从多个所述最大输出值中选取至少两个所述最大输出值作为定点参考值；根据每个所述定点参考值确定参考整数部分位宽；基于预设的输出值总位宽和每个所述参考整数部分位宽进行准确率测试，将使得准确率最高的参考整数部分确定为所述第一目标层在输出值定点化时使用的整数部分位宽。

第一方面的数据定点化方法通过从第一目标层的多个最大输出值中选取多个值作为定点参考值，确定每个定点参考值对应的参考整数部分位宽，并基于准确率测试确定最优的整数部分位宽，根据最优的整数部分位宽使得定点化后网络可以在传递更多的有用信息同时保持较高的精度，可以提高网络的表达能力和准确率。

第二方面，提供了一种数据定点化方法，包括：计算输入样本在神经网络的第一目标层的参考输出值；确定为输出值预设的输出值总位宽和预设的第一符号位宽；根据所述参考输出值的大小确定输出值整数部分位宽；根据所述输出值总位宽、所述第一符号位宽和所述输出值整数部分位宽，确定输出值小数部分位宽，其中，所述第一符号位宽、所述输出值整数部分位宽和所述输出值小数部分位宽作为所述第一目标层在输出值定点化时使用的符号位宽、整数部分位宽和小数部分位宽。

第二方面的数据定点化方法在输出值定点化时考虑符号位，这样使得确定的定点化方案更优，提高增加网络准确率的可能性。