[发明专利]深度神经网络中的网络层运算方法及装置

说明书

本发明实施例提供了一种深度神经网络中的网络层运算方法及装置，其中，深度神经网络中的网络层运算方法包括：获取深度神经网络中网络层的参数矩阵；对参数矩阵中各权值进行归一化操作，得到参数归一化矩阵；根据第一预设基矩阵，将参数归一化矩阵中各元素表示为第一预设基矩阵中元素的线性组合，得到线性组合矩阵；将网络层的输入量与线性组合矩阵进行运算，得到网络层的输出量。通过本方案，可以在有效降低深度神经网络的存储量的同时，降低计算量。

技术领域

本发明涉及机器学习技术领域，特别是涉及一种深度神经网络中的网络层运算方法及装置。

背景技术

DNN(Deep Neural Network，深度神经网络)作为机器学习研究中的一个新兴领域，通过模仿人脑的机制来解析数据，是一种通过建立和模拟人脑进行分析学习的智能模型。目前，例如CNN(Convolutional Neural Network，卷积神经网络)、RNN(RecurrentNeural Network，循环神经网络)、LSTM(Long Short Term Memory，长短期记忆网络)等的DNN已在目标检测与分割、行为检测与识别、语音识别等方面得到了很好的应用。但是，由于DNN中一般采用双精度或单精度浮点数据的乘/加操作来实现网络基本单元的运算，参与运算的数据量较大，这导致了DNN存在大计算量、高存储量等问题。

当前的DNN中，多采用定点数量化的方法来降低DNN的计算量和存储量。定点数量化的方法通过将浮点数转换为定点数的方式，在保证准确率的前提下，可以一定程度降低DNN参数层权值的比特数，进而降低DNN的存储量。然而，这种方法压缩比有限，压缩后的定点数仍然具有较大的计算量。

发明内容

本发明实施例的目的在于提供一种深度神经网络中的网络层运算方法及装置，以在有效降低深度神经网络的存储量的同时，降低计算量。具体技术方案如下：

第一方面，本发明实施例提供了一种深度神经网络中的网络层运算方法，所述方法包括：

获取深度神经网络中网络层的参数矩阵；

对所述参数矩阵中各权值进行归一化操作，得到参数归一化矩阵；

根据第一预设基矩阵，将所述参数归一化矩阵中各元素表示为所述第一预设基矩阵中元素的线性组合，得到线性组合矩阵；

将所述网络层的输入量与所述线性组合矩阵进行运算，得到所述网络层的输出量。

可选的，在所述获取深度神经网络中网络层的参数矩阵之后，所述方法还包括：

统计所述参数矩阵中的各权值，得到所述参数矩阵的权值范围；

基于所述权值范围，提取所述参数矩阵中绝对值最大的第一权值；

所述对所述参数矩阵中各权值进行归一化操作，得到参数归一化矩阵，包括：

将所述参数矩阵中的各权值分别除以所述第一权值，得到参数归一化矩阵；

所述将所述网络层的输入量与所述线性组合矩阵进行运算，得到所述网络层的输出量，包括：

将所述网络层的输入量与所述线性组合矩阵进行运算，并将所述第一权值与运算结果相乘，得到所述网络层的输出量。

可选的，所述对所述参数矩阵中各权值进行归一化操作，得到参数归一化矩阵，包括：

将所述参数矩阵中的各权值分别除以所述第一权值的绝对值，得到参数归一化矩阵；

所述将所述网络层的输入量与所述线性组合矩阵进行运算，得到所述网络层的输出量，包括：

将所述网络层的输入量与所述线性组合矩阵进行运算，并将所述第一权值的绝对值与运算结果相乘，得到所述网络层的输出量。