[发明专利]处理装置及处理方法

说明书

本公开提供了一种处理装置及处理方法，用于处理量化后的网络数据，可以减少网络数据传输，减少数据传输能耗。此外，本公开还可以同时对量化后的权值以及未量化权值进行多种运算，实现了运算的多元化。

技术领域

本公开涉及神经网络领域，尤其涉及一种数据的量化装置及量化方法、处理装置及处理方法。

背景技术

对神经网络(neural network)的权值进行量化(quantization)，能够减少表示每一个权值的比特数，从而降低权值存储开销和访存开销。但是传统的量化方法仅仅按照神经网络的层为单位进行量化，并没有挖掘神经网络层间权值的相似性以及层内权值局部相似性，在使用低比特数表示权值的同时，会降低神经网络的精度。因此，如何充分挖掘神经网络的权值分布特性进行低比特量化成为一个亟待解决的问题。

公开内容

(一)要解决的技术问题

本公开的目的在于提供一种数据的量化装置及量化方法、处理装置及处理方法，以解决上述的至少一项技术问题。

(二)技术方案

本公开的一方面，提供了一种数据的量化方法，包括步骤：

对权值进行分组；

对每一组权值用聚类算法进行聚类操作，将一组权值分成m个类，每个类计算出一个中心权值，每个类中的所有权值都用中心权值替换，其中，m为正整数；以及

对中心权值进行编码操作，得到密码本和权值字典。

在本公开的一些实施例中，还包括步骤：对神经网络进行重训练，重训练时只训练密码本，权值字典内容保持不变。

在本公开的一些实施例中，所述重训练采用反向传播算法。

在本公开的一些实施例中，所述分组包括分为一组、层类型分组、层间分组和/或层内分组。

在本公开的一些实施例中，所述聚类算法包括K-means、K-medoids、Clara和/或Clarans。

在本公开的一些实施例中，所述分组为分为一组，将神经网络的所有权值归为一组。

在本公开的一些实施例中，所述分组为层类型分组，对i个卷积层，j个全连接层，m个LSTM层，t种不同类型的层，其中，i，j，m为大于等于0的正整数，且满足i+j+m≥1，t为大于等于1的正整数且满足t＝(i＞0)+(j＞0)+(m＞0)，将神经网络的权值将被分为t组。

在本公开的一些实施例中，所述分组为层间分组，将神经网络中一个或者多个卷积层的权值、一个或者多个全连接层的权值和一个或者多个长短时记忆网络层的权值各划分成一组。