[发明专利]处理方法和处理装置

权利要求书

1.一种处理装置，其中包括：

滑动窗口，用于从神经网络选取出一组权值，将选取的权值都置为零；对神经网络进行第一重训练，训练过程中已经被置为零的权值保持为零；对神经网络的权值进行分组，然后对组内权值进行聚类和编码，对聚类和编码后的神经网络进行第二重训练；

粗粒度选数单元，用于输入神经元和非零权值位置信息，选出需要进行计算的神经元；

查找表单元，用于接收量化的非零权值字典和非零权值密码本，进行查表操作并输出神经网络非零权值；

运算单元，用于接收被选中的神经元和非零权值，对神经网络进行运算并输出神经元；

还包括：非零权值密码本缓存，用于缓存非零权值密码本，所述非零权值密码本缓存为片上缓存；非零权值字典缓存，用于缓存非零权值字典，所述非零权值字典缓存为片上缓存；

其中，使用滑动窗口从神经网络选取出一组权值包括对神经网络的全连接层的权值进行剪枝；

所述对神经网络的全连接层进行剪枝包括：设全连接层的权值为一个二维矩阵（Nin,Nout），其中Nin是输入神经元的个数，Nout是输出神经元的个数，共有Nin*Nout个权值，设定一个大小为Bin*Bout的滑动窗口，其中Bin为大于等于1小于等于Nin正整数，Bout为大于等于1小于等于Nout的正整数；使滑动窗口能够沿着Bin的方向按照Sin的步长进行滑动，也可以沿着Bout方向按照Sout的步长进行滑动，其中Sin为大于等于1小于等于Bin的正整数，Sout为大于等于1小于等于Bout的正整数；当滑动窗口内的一组权值被选取时，这组权值将全部被置为零，即Bin*Bout个权值将同时置为零；

其中，所述滑动窗口还用于：不断重复粗粒度剪枝和第一重训练直至在保证精度不损失x%的前提下没有权值能被置为0，x为大于0小于100的数。

2.根据权利要求1所述的处理装置，其特征在于，所述查找表单元还用于对未量化的非零权值直接通过旁路传输给运算单元。

3.根据权利要求1所述的处理装置，其特征在于，还包括指令控制单元，用于接收指令并经过译码后生成控制信息控制运算单元。

4.根据权利要求3所述的处理装置，其特征在于，还包括存储单元，用于存储神经网络的神经元、权值以及指令。

5.根据权利要求4所述的处理装置，其特征在于，所述存储单元还用于存储存放非零权值以及非零权值的位置信息；还用于存储量化的非零权值密码本和非零权值字典。

6.根据权利要求5所述的处理装置，其特征在于，所述运算单元包括以下至少一种：

乘法器，用于将第一输入数据和第二输入数据相乘，得到相乘之后的数据；

加法树，用于将第三输入数据通过加法树逐级相加，或者将所述第三输入数据通过和第四输入数据相加得到相加之后的数据；

激活函数运算单元，对第五数据通过激活函数运算得到输出数据，所述激活函数为sigmoid、tanh、relu或softmax函数操作。

7.根据权利要求6所述的处理装置，其特征在于，所述运算单元还包括池化单元，用于对输入的第六数据通过池化运算得到池化操作之后的输出数据，所述池化操作包括：平均值池化，最大值池化或者中值池化。

8.根据权利要求7所述的处理装置，其特征在于，还包括指令控制单元，用来接收存储装置中的指令，经过译码后生成控制信息控制粗粒度选数单元进行选数操作，查找表进行查表操作和运算单元进行计算操作。

9.根据权利要求8所述的处理装置，其特征在于，所述指令为神经网络专用指令，包括控制指令，数据传输指令，运算指令和逻辑指令。

10.根据权利要求9所述的处理装置，其特征在于，所述神经网络专用指令为Cambricon指令集。

11.根据权利要求10所述的处理装置，其特征在于，还包括指令缓存，用于缓存指令，所述指令缓存为片上缓存。