[发明专利]深度神经网络中的网络层运算方法及装置

权利要求书

1.一种深度神经网络中的网络层运算方法，其特征在于，所述方法包括：

获取深度神经网络中网络层的参数矩阵；

对所述参数矩阵中各权值进行归一化操作，得到参数归一化矩阵；

根据第一预设基矩阵，将所述参数归一化矩阵中各元素表示为所述第一预设基矩阵中元素的线性组合，得到线性组合矩阵；

将所述网络层的输入量与所述线性组合矩阵进行运算，得到所述网络层的输出量。

2.根据权利要求1所述的方法，其特征在于，在所述获取深度神经网络中网络层的参数矩阵之后，所述方法还包括：

统计所述参数矩阵中的各权值，得到所述参数矩阵的权值范围；

基于所述权值范围，提取所述参数矩阵中绝对值最大的第一权值；

所述对所述参数矩阵中各权值进行归一化操作，得到参数归一化矩阵，包括：

将所述参数矩阵中的各权值分别除以所述第一权值，得到参数归一化矩阵；

所述将所述网络层的输入量与所述线性组合矩阵进行运算，得到所述网络层的输出量，包括：

将所述网络层的输入量与所述线性组合矩阵进行运算，并将所述第一权值与运算结果相乘，得到所述网络层的输出量。

3.根据权利要求2所述的方法，其特征在于，所述对所述参数矩阵中各权值进行归一化操作，得到参数归一化矩阵，包括：

将所述参数矩阵中的各权值分别除以所述第一权值的绝对值，得到参数归一化矩阵；

所述将所述网络层的输入量与所述线性组合矩阵进行运算，得到所述网络层的输出量，包括：

将所述网络层的输入量与所述线性组合矩阵进行运算，并将所述第一权值的绝对值与运算结果相乘，得到所述网络层的输出量。

4.根据权利要求1所述的方法，其特征在于，所述第一预设基矩阵为移位型基矩阵，所述移位型基矩阵中各元素为2的幂指数；

所述根据第一预设基矩阵，将所述参数归一化矩阵中各元素表示为所述第一预设基矩阵中元素的线性组合，得到线性组合矩阵，包括：

根据第一预设基矩阵，将所述参数归一化矩阵中各元素表示为2的幂指数的线性组合，得到线性组合矩阵；

所述将所述网络层的输入量与所述线性组合矩阵进行运算，得到所述网络层的输出量，包括：

针对所述网络层的输入量中的第一元素，根据与所述第一元素进行乘法运算的所述线性组合矩阵中第二元素的各幂指数，对所述第一元素分别进行多次移位操作，并对所述多次移位操作后的结果相加，得到所述第一元素与所述第二元素的乘积结果；

根据所述输入量中各元素与所述线性组合矩阵中各元素的乘积结果，通过组合的方式对所述输入量与所述线性组合矩阵进行运算，得到所述网络层的输出量。

5.根据权利要求1所述的方法，其特征在于，在所述将所述网络层的输入量与所述线性组合矩阵进行运算，得到所述网络层的输出量之前，所述方法还包括：

获取所述网络层的输入激活量；

对所述输入激活量中各元素数值进行归一化操作，得到激活量归一化矩阵；

根据第二预设基矩阵，将所述激活量归一化矩阵中各元素表示为所述第二预设基矩阵中元素的线性组合，得到所述网络层的输入量。

6.根据权利要求5所述的方法，其特征在于，在所述获取所述网络层的输入激活量之后，所述方法还包括：

统计所述输入激活量的各元素数值，得到所述输入激活量的元素数值范围；

基于所述元素数值范围，提取所述输入激活量中绝对值最大的第一元素数值；

所述对所述输入激活量中各元素数值进行归一化操作，得到激活量归一化矩阵，包括：

将所述输入激活量中的各元素数值分别除以所述第一元素数值，得到激活量归一化矩阵；

所述将所述网络层的输入量与所述线性组合矩阵进行运算，得到所述网络层的输出量，包括：

将所述网络层的输入量与所述线性组合矩阵进行运算，并将所述第一元素数值与运算结果相乘，得到所述网络层的输出量。