[发明专利]一种自适应量化方法及装置、设备、介质

说明书

本申请公开了自适应量化方法及装置、设备、介质。该方法包括：分别对多个原始输入张量进行第一量化处理，得到定点数形式的输入张量，以及计算该定点数形式的输入张量的量化偏移；计算多个原始输入张量对应的综合的量化偏移，以及自适应量化系数；根据所述自适应量化系数和所述综合的量化偏移，对所述定点数形式的输入张量及其量化偏移进行第二量化处理，得到量化结果。本申请有利于提高量化精度，提高卷积神经网络性能，降低硬件功耗和设计难度。

技术领域

本申请涉及机器学习技术领域，尤其涉及一种自适应量化方法及装置、设备、介质。

背景技术

卷积神经网络在计算机视觉、语音处理、机器学习、图像识别、人脸识别等众多领域取得了巨大的突破，显著地提高了相应的机器算法在图像分类、目标检测和语音识别等多种任务中的性能，并且在互联网、视频监控等行业中得到了广泛应用。

大容量、高复杂度的卷积神经网络能够更全面地对数据进行学习，从而更准确地识别数据，当然，随着网络层数与参数数量的增加，计算和存储代价也会大幅增长。

在现有技术中，使用卷积神经网络对数据进行处理时，通常直接使用浮点数进行计算，但是，这种方式计算速度慢，且硬件功耗大。

发明内容

本申请实施例提供一种自适应量化方法及装置、设备、介质，用以解决现有技术中的如下技术问题：使用卷积神经网络对数据进行处理时，通常直接使用浮点数进行卷积计算，但是，这种方式计算速度慢，且硬件功耗大。

本申请实施例采用下述技术方案：

一种自适应量化方法，包括：

分别对多个原始输入张量进行第一量化处理，得到定点数形式的输入张量，以及计算该定点数形式的输入张量的量化偏移；

计算多个原始输入张量对应的综合的量化偏移，以及自适应量化系数；

根据所述自适应量化系数和所述综合的量化偏移，对所述定点数形式的输入张量及其量化偏移进行第二量化处理，得到量化结果。

可选地，所述分别对多个原始输入张量进行第一量化处理，得到定点数形式的输入张量，以及计算该定点数形式的输入张量的量化偏移，具体包括：

针对多个原始输入张量中的每个原始输入张量，执行：确定该原始输入张量的最值，根据该最值，对该原始输入张量进行第一量化处理，得到定点数形式的输入张量，以及计算该定点数形式的输入张量的量化偏移。

可选地，所述计算多个原始输入张量对应的综合的量化偏移，以及自适应量化系数，具体包括：

根据所述多个原始输入张量分别的最值，确定综合的最值；

根据所述综合的最值，计算综合的量化缩放系数和量化偏移；

根据所述综合的量化缩放系数和所述第一量化处理过程中使用的量化缩放系数，计算自适应量化系数。

可选地，所述多个原始输入张量来自同一个算数逻辑单元ALU，所述方法是针对多个不同的ALU中的每个ALU执行的。

可选地，所述根据该最值，对该原始输入张量进行第一量化处理，具体包括：

根据该最值中的最小值和指定的量化值域的最小值，利用第一函数，对该原始输入张量进行第一量化处理；

所述第一函数包含相应的量化缩放系数，以及浮点数转定点数的转换逻辑。

可选地，所述计算该定点数形式的输入张量的量化偏移，具体包括：

根据该最值中的最小值和所述指定的量化值域的最小值，利用第二函数，计算该定点数形式的输入张量的量化偏移；