[发明专利]执行卷积神经网络中的运算的方法和装置

说明书

本申请涉及用于执行卷积神经网络中的运算的方法和装置，该方法包括：拆分卷积神经网络中的选定层的权重参数以获得包含多个运算参数的运算参数阵列；分别使用所获得的运算参数阵列中的每个运算参数执行选定层的运算，以获得包括多个部分运算结果的部分运算结果阵列；以及基于所获得的部分运算结果阵列，生成选定层的一个或多个输出数据。通过该方法能够提高卷积神经网络中的运算的执行效率。

技术领域

本申请总体上涉及人工卷积神经网络的技术领域，并且具体地涉及执行卷积神经网络中的运算的方法和装置。

背景技术

基于卷积神经网络的深度学习技术已经被广泛地应用于图像识别、视频分析、自然语言处理、辅助驾驶等不同的领域。

卷积神经网络可以包含多个层。在每个层中，使用该层的权重参数对该层的输入数据(也被称为输入特征数据)执行该层的卷积运算，以获得相应的输出数据(也被称为激活值或输出特征数据)。

在卷积神经网络中，每个特征数据可以具有一定的宽度和高度，并且可以具有一个或多个通道，每个通道可以携带该特征数据的一类信息。相应地，每个层的权重参数可以包含一个或多个核(也可以称为卷积核)，所有的核可以具有相同的宽度、相同的高度和相同的深度(也被称为通道的数量)。换句话说，每个层的权重参数可以具有例如宽度、高度、深度和核的数量等维度。

期望能够使用诸如通用的中央处理器(CPU)、图形处理器(GPU)或专用加速器等硬件高效地执行卷积神经网络中的运算。然而，随着卷积神经网络的前向推理过程的进行，每层的权重参数的大小可能越来越大，例如，可能具有更多数量的通道和/或更多数量的核。在某一层的权重参数很大而无法被完全地缓存在与用于执行神经网络中的运算的处理器相关联的高速存储器(例如，处理器内或与处理器相关联的高速缓冲存储器)中，导致无法正确地和/或高效地执行该层的运算。

发明内容

本申请涉及一种执行卷积神经网络中的运算的方法，其包括：在深度和核的数量之中的至少一个维度上拆分卷积神经网络中的选定层的权重参数以获得包含多个运算参数的运算参数阵列，运算参数阵列的每行的所有运算参数来自权重参数的核的集合的同一子集并且没有相同的通道，并且每列的每个运算参数分别来自权重参数的核的集合的不同子集并且具有相同的一个或多个通道；分别使用运算参数阵列中的每个运算参数，对选定层的输入数据中的与所使用的运算参数的通道相对应的通道上的数据执行选定层的运算，以获得包括多个部分运算结果的部分运算结果阵列；以及基于部分运算结果阵列，生成选定层的一个或多个输出数据。

另外，本申请还涉及一种执行卷积神经网络中的运算的装置，其包括被配置为至少执行上述方法的一个或多个处理器。

另外，本申请还涉及一种执行卷积神经网络中的运算的装置，其包括：拆分器，被配置为在深度和核的数量之中的至少一个维度上拆分卷积神经网络中的选定层的权重参数以获得包含多个运算参数的运算参数阵列，运算参数阵列的每行的所有运算参数来自权重参数的核的集合的同一子集并且没有相同的通道，并且每列的每个运算参数分别来自权重参数的核的集合的不同子集并且具有相同的一个或多个通道；运算器，被配置为分别使用运算参数阵列中的每个运算参数，对选定层的输入数据中的与所使用的运算参数的通道相对应的通道上的数据执行选定层的运算，以获得包括多个部分运算结果的部分运算结果阵列；以及生成器，被配置为基于部分运算结果阵列，生成选定层的一个或多个输出数据。

另外，本申请还涉及一种非临时性存储介质，在其上存储有程序指令，所述程序指令在被计算装置执行时执行上述方法。

通过根据本申请的实施例的方法，可以提高硬件的运算效率或者提高硬件的利用率，并且还可以回避硬件对于参数的大小的限制。

附图说明

图1示出根据本申请的实施例的示例方法的流程图。

图2示出根据本申请的实施例的权重参数和相应的阵列表示的示例。