[发明专利]融合神经网络的装置、板卡、方法及可读存储介质

说明书

本披露涉及融合神经网络的装置、板卡、方法及可读存储介质，其中本披露的计算装置包括在集成电路装置中，该集成电路装置包括通用互联接口和其他处理装置。计算装置与其他处理装置进行交互，共同完成用户指定的计算操作。集成电路装置还可以包括存储装置，存储装置分别与计算装置和其他处理装置连接，用于计算装置和其他处理装置的数据存储。

技术领域

本披露一般地涉及神经网络领域。更具体地，本披露涉及融合神经网络的装置、板卡、方法及可读存储介质。

背景技术

神经网络是按照一定规则连接起来的多个神经元系统，大致上是由以下四种层结构所组成：输入层、卷积层(convolution layer)、池化层(pooling layer)、全连接层(fully connected layer)。

输入层是自输入数据中截取部分信息，转化成特征矩阵方式呈现，其中载有对应该部分信息的特征。卷积层配置成接收来自输入层的特征矩阵，通过卷积操作对输入数据进行特征抽取。卷积层在实际运用时可以建制多层卷积层。池化层配置成对数据的某一个区域用一个值代替，这值通常是该区域所有数值里的最大值或平均值。通过池化，在不至于损失过多信息的前提下，可以缩减模型大小、提高计算速度。全连接层在整个卷积神经网络中起到分类器的作用，相当于特征空间变换，把前面所有有用的信息提取整合，基于不同的分类做信息比对，借以判断输入数据是否相似于比对的标的。

随着科技的发展，神经网络的层数越来越多，以经典的VGG架构为例，VGG-A共有11个权重层、VGG-B有13个权重层、VGG-C有16个权重层、VGG-D共有16个权重层、VGG-E共有19个权重层。其中，卷积层和全连接层的泛指权重层。有些神经网络更是具有上百层结构。不仅如此，随着层数的增加，神经网络的参数数量也呈指数级的增加，例如AlexNet具有6000万个参数参与计算。

多层数与多参数都需要大量片上片外的输入/输出访问，这将会耗去许多资源，同时延迟运算时间。因此一种减少输入/输出访问的机制是人工智能领域中迫切需要的。

发明内容

为了至少部分地解决背景技术中提到的技术问题，本披露的方案提供了一种融合神经网络的装置、板卡、方法及可读存储介质。

在一个方面中，本披露揭露一种融合神经网络的集成电路装置，包括：处理装置，用以根据融合策略选择起始层，并建立模板融合单元；以及计算装置，用以根据所述模板融合单元执行神经网络计算。所述起始层为除卷积层及池化层之外的层。

在另一个方面，本披露揭露一种板卡，包括根据前述的集成电路装置。

在另一个方面，本披露揭露一种融合神经网络的方法，包括：根据融合策略选择起始层；基于所述起始层建立模板融合单元；以及根据所述模板融合单元执行神经网络计算。所述起始层为除卷积层及池化层之外的层。。

另一个方面，本披露揭露一种计算机可读存储介质，其上存储有融合神经网络的计算机程序代码，当所述计算机程序代码由处理装置运行时，执行前述的方法。

本披露的模板融合单元的起始层可以为除卷积及池化外的层，这样的起始规则使得模板融合单元的建立更为弹性，能够针对不同的神经网络，适当地选择起始层开始融合，不受卷积层或是池化层在神经网络模型中的位置和数量所限，进而适应各种网络模型，让融合更加全面，提升整体效益。

附图说明

通过参考附图阅读下文的详细描述，本披露示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本披露的若干实施方式，并且相同或对应的标号表示相同或对应的部分其中：

图1是示出本披露实施例的板卡的结构图；

图2是示出本披露实施例的集成电路装置的结构图；

图3是示出本披露实施例的计算装置的内部结构示意图；