[发明专利]应用于卷积神经网络的信息处理方法和装置

说明书

本申请实施例公开了应用于卷积神经网络的信息处理方法和装置。该方法的一具体实施方式包括：将卷积神经网络中的归一化层合并到卷积层中，合并的步骤包括：基于归一化层的初始参数和卷积层的初始参数之间的函数关系，确定替换所述归一化层的初始参数和所述卷积层的初始参数的目标参数，将所述目标参数作为卷积层的参数，其中，卷积神经网络中的参数包括浮点型参数；对卷积层的参数和全连接层的参数进行量化，得到量化后的卷积神经网络。本申请实施例提供的方法能够通过合并步骤，减少卷积神经网络中的参数，进而减小卷积神经网络处理数据时的计算量，提高卷积神经网络的运算速度。

技术领域

本申请实施例涉及计算机技术领域，具体涉及互联网技术领域，尤其涉及应用于卷积神经网络的信息处理方法和装置。

背景技术

随着人工智能的发展，卷积神经网络越来越得到广泛的应用，比如，语音识别、图像识别等等。随着功能的日益增加，在运行速度等诸多方面对卷积神经网络也提出了更高的要求。

发明内容

本申请实施例提出了应用于卷积神经网络的信息处理方法和装置。

第一方面，本申请实施例提供了一种应用于卷积神经网络的信息处理方法，方法包括：将卷积神经网络中的归一化层合并到卷积层中，合并的步骤包括：基于归一化层的初始参数和卷积层的初始参数之间的函数关系，确定替换归一化层的初始参数和卷积层的初始参数的目标参数，将目标参数作为卷积层的参数，其中，卷积神经网络中的参数包括浮点型参数；对卷积层的参数和全连接层的参数进行量化，得到量化后的卷积神经网络。

在一些实施例中，对卷积层的参数和全连接层的参数进行量化，包括：将卷积层的浮点型参数和全连接层的浮点型参数转化为包括整数型参数与系数的表达式，其中，在表达式中，系数与整数型参数相乘，或者系数为整数型参数的指数。

在一些实施例中，在对卷积层的参数和全连接层的参数进行量化之前，方法还包括：对于卷积层和全连接层的各层，获取至少两个待选的系数，确定各待选的系数对应的、该层的整数型参数；利用该层的整数型参数，确定各待选的系数对应的该层的损失值；将该层的最小的损失值所对应的待选的系数确定为该层的系数，其中，该层的系数的数量为至少一个。

在一些实施例中，在得到量化后的卷积神经网络之后，方法还包括：将指定对象输入量化后的卷积神经网络，得到从卷积神经网络输出的指定对象所对应的处理结果。

在一些实施例中，在将指定对象输入量化后的卷积神经网络之后，方法还包括：对于卷积层和全连接层的各层，基于该层的整数型参数得到该层的初始结果；基于初始结果与该层的系数，利用表达式中整数型参数与该层的系数的运算规则确定该层的结果。

在一些实施例中，方法还包括：确定卷积神经网络的总损失值；利用总损失值在卷积神经网络反向传播，对量化后的卷积神经网络中的参数进行参数调整。

第二方面，本申请实施例提供了一种应用于卷积神经网络的信息处理装置，装置包括：合并单元，被配置成将卷积神经网络中的归一化层合并到卷积层中，合并的步骤包括：基于归一化层的初始参数和卷积层的初始参数之间的函数关系，确定替换归一化层的初始参数和卷积层的初始参数的目标参数，将目标参数作为卷积层的参数，其中，卷积神经网络中的参数包括浮点型参数；量化单元，被配置成对卷积层的参数和全连接层的参数进行量化，得到量化后的卷积神经网络。

在一些实施例中，量化单元，进一步被配置成：将卷积层的浮点型参数和全连接层的浮点型参数转化为包括整数型参数与系数的表达式，其中，在表达式中，系数与整数型参数相乘，或者系数为整数型参数的指数。

在一些实施例中，装置还包括：确定单元，被配置成对于卷积层和全连接层的各层，获取至少两个待选的系数，确定各待选的系数对应的、该层的整数型参数；利用该层的整数型参数，确定各待选的系数对应的该层的损失值；将该层的最小的损失值所对应的待选的系数确定为该层的系数，其中，该层的系数的数量为至少一个。