[发明专利]支持在线学习的卷积神经网络的可重构平台及其构建方法

说明书

本发明公开一种支持在线学习的卷积神经网络的可重构平台及其构建方法，可重构平台包括输入卷积池化级和全连接级；输入卷积池化级包括若干卷积环和采样环；全连接级包括若干全连接环；卷积环由若干卷积神经元连接成环；采样环由若干采样神经元连接成环；全连接环由若干全连接神经元连接成环；将每层神经元的环状结构通过路由相连组成完整网络，构成一种支持在线学习的卷积神经网络的可重构平台。环上顺时针或逆时针链路传递特征值，反向链路传递反向计算误差，环与环之间通过路由器节点相连接，自上而下传递特征值，自下而上传递反向误差。本发明可支持网络在线学习，充分发掘卷积神经网络的算法并行度和存储局域性，能够提升计算系统的整体性能。

技术领域

本发明属于神经网络硬件架构领域，特别涉及一种支持在线学习的卷积神经网络的可重构平台。

背景技术

卷积神经网络的硬件实现在人工智能领域中具有广阔的发展前景。卷积神经网络作为人工神经网络的一种，采用权值共享的网络结构，降低了网络模型的复杂度，减少了权值的数量，避免了传统识别算法中复杂的特征提取和数据重建过程。

卷积神经网络通常由三个部分组成，分别是卷积层、采样层和全连接层，它们组成了一个完整的卷积神经网络结构。卷积层将计算输入层与权重矩阵卷积，然后将该结果通过激活函数，采样层用于对卷积后的矩阵进行抽样降维，最后通过全连接层得到计算结果。

随着卷积神经网络的规模越来越大，模型中的参数越来越多，数据也越来越多，这对系统的性能、功耗、并行度以及运算速度提出了非常高的要求。因此，高性能、低功耗、并行度高的硬件加速平台的实现十分必要。目前大多数硬件加速芯片都为卷积、采样或全连接的部分加速，且搭建起来的网络只支持推理的正向计算，不能够同时支持误差学习的反向传播。

本发明的目的在于一种支持在线学习的卷积神经网络的可重构平台的硬件实现方法。

发明内容

本发明的目的在于提供一种支持在线学习的卷积神经网络的可重构平台及其构建方法，以充分利用算法的并行性和存储的局域性，能够实现推理和误差学习的双向传播，提升系统的整体性能。

为了实现上述的目的，本方案采用了如下的技术方案：

一种支持在线学习的卷积神经网络的可重构平台，包括输入卷积池化级和全连接级；输入卷积池化级包括若干卷积环和若干采样环；全连接级包括若干全连接环；卷积环由若干卷积神经元连接成环；采样环由若干采样神经元连接成环；全连接环由若干全连接神经元连接成环；将每层神经元的环状结构通过路由相连组成完整的网络，构成一种支持在线学习的卷积神经网络的可重构平台。

进一步的，初始卷积层位于最上，最后一层全连接层位于最下。

进一步的，层内和层间的数据传输采用路由器实现。

进一步的，正向计算需要的数据通过环状路由顺时针(或逆时针)传递到每一个神经元，网络反向计算需要的误差数据通过环状路由逆时针(或顺时针)传递到每一个神经元；层间的数据，从输入到输出方向传递网络的推理计算结果，从输出向输入方向传递学习计算的误差。

一种支持在线学习的卷积神经网络的可重构平台的构建方法，包括以下步骤：

步骤一、根据网络卷积层特征图的数量生成卷积神经元，每层卷积神经元连接成环；

步骤二、根据网络采样层特征图数量生成采样神经元，每层采样神经元连接成环；

步骤三、根据网络全连接神经元的数量生成全连接神经元，每层全连接神经元连接成环；

步骤四、将每层神经元的环状结构通过路由相连组成完整的网络，构成一种支持在线学习的卷积神经网络的可重构平台。