[发明专利]用于神经网络数据量化的方法、装置和计算机可读存储介质

说明书

本披露公开了用于神经网络数据量化的方法、量化装置和计算机可读存储介质，其中量化装置可以包括在组合处理装置中，该组合处理装置还可以包括通用互联接口和其他处理装置。所述量化装置与其他处理装置进行交互，共同完成用户指定的计算操作。组合处理装置还可以包括存储装置，该存储装置分别与设备和其他处理装置连接，用于该设备和其他处理装置的数据。本披露的方案可以对神经网络数据进行分别或统一的量化操作，从而达到加快处理速度的目的。

技术领域

本披露一般地涉及人工智能领域。更具体地，本披露涉及一种用于用于对神经网络数据进行量化的方法、装置、集成电路和计算机可读存储介质。

背景技术

深度学习已被人工智能领域广泛的使用,在包括图像分类、目标检测、自然语言处理等任务上被证实效果十分理想。随着深度学习的模型预测越来越准确，网络越来越深，神经网络消耗的内存大小成为问题，尤其是在移动设备上。

模型大小不仅是内存容量问题，也是内存带宽问题。模型在每次预测时需要使用模型的权重，图像相关的应用程序通常需要实时处理大量数据，这意味着内存、CPU和电池的快速消耗。

为了节省能耗，神经网络的学习、训练或使用通常会采取量化的手段。所谓量化就是将神经网络中信息量较大的浮点数转换为信息量较小的浮点数或定点数，而如何有效的转换将影响神经网络的速度及精准度。

发明内容

为了至少解决在上述背景技术部分所描述的问题，对神经网络数据进行分别或统一的量化操作，从而达到减少运算量和加快处理速度的目的，本披露提出如下的技术方案及其多个实施例。

在一个方面中，本披露提出了一种用于对神经网络数据进行量化的方法，包括：确定多组神经网络数据之间关于量化分布的差异；判断所述差异是否大于预定的阈值；以及当所述差异大于预定的阈值时，对所述多组神经网络数据的每组神经网络数据分别执行量化操作；或者当所述差异小于或等于所述预定的阈值时，对所述多组神经网络数据执行统一的量化操作。

在另一方面中，本披露还公开了一种用于对神经网络数据进行量化的设备，包括：至少一个处理器；至少一个存储器，其存储有计算机程序代码，当所述计算机程序代码由所述至少一个处理器执行时，使得所述设备执行上述的方法。

在又一方面中，本披露进一步公开了一种计算机可读存储介质，其上存储有用于对神经网络数据进行量化的计算机程序代码，当所述计算机程序代码由处理器运行时，执行上述的方法。

在一个方面中，本披露公开了一种集成电路装置，包括：存储单元，其配置用于存储多组神经网络数据；确定单元，其配置用于确定所述多组神经网络数据之间关于量化分布的差异；判断单元，其配置用于判断所述差异是否大于预定的阈值；以及量化单元，其配置用于：响应于所述判断单元判断出所述差异大于预定的阈值，对所述多组神经网络数据的每组神经网络数据分别执行量化操作；或者响应于所述判断单元判断出所述差异小于或等于所述预定的阈值，对所述多组神经网络数据执行统一的量化操作。

通过利用本披露方法、装置和计算机可读存储介质，可以对多组神经网络数据进行量化操作。特别地，本披露的方案还可以根据多组神经网络数据之间的量化分布的差异，选择执行分别的量化操作或统一的量化操作，不但可以确保量化误差减少，还可以达到减少运算量和加快处理速度的效能。

附图说明

通过结合附图，可以更好地理解本披露的上述特征，并且其众多目的、特征和优点对于本领域技术人员而言是显而易见的。下面描述中的附图仅仅是本披露的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可根据这些附图获得其他的附图，其中：

图1是示出根据本披露实施例的神经网络的结构示意图；

图2是示出根据本披露实施例的目标层的输出通道划分示意图；

图3是示出根据本披露实施例的神经网络数据量化的方法流程图；