[发明专利]卷积神经网络分数阶误差反向传播方法

说明书

本发明卷积神经网络分数阶误差反向传播方法,包括如下步骤：步骤1）选择卷积神经网络模型；步骤2）利用分数阶误差反向传播方法更新网络权值；步骤3）根据所述的网络权值，获取卷积神经网络参数。有益效果：将误差反向传播过程中激活函数的整数阶导数变为分数阶导数，发挥了分数阶求导模型比整数阶求导模型更加准确的优势，有效缓解了误差反向传播过程中的“梯度消失”问题，提高了卷积神经网络的训练效率，使卷积神经网络对于训练数据实现更好的拟合，提高了网络的泛化能力。

技术领域

本发明属于人工智能算法领域，特别涉及了一种卷积神经网络分数阶误差反向传播方法。

背景技术

卷积神经网络是人工智能领域的算法，从自动驾驶的汽车到Google的图像查找，都可以运用卷积神经网络实现。卷积神经网络中训练过程是一个非常重要的部分，在该过程中一般通过反向传播方法使网络权值(滤波器)不断更新调整，直至网络的输出与目标趋于一致。反向传播方法的过程共分为4个基本步骤：前向传播、损失计算、反向传播、权值更新。然而，在“反向传播”步骤中，常常会出现因“梯度消失”现象导致网络难以训练的问题。因此，有效改善“梯度消失”是卷积神经网络得以正常训练，从而获得精确网络参数的重要保证。

目前，分数阶微积分与神经网络的结合已成为人工智能领域的研究热点，分数阶神经网络的应用表明比传统神经网络具有更大的优势。《基于分数阶卷积神经网络的语音识别算法研究》(张磊.哈尔滨理工大学,2016.)直接使用分数阶方法对激活函数进行处理，采用分数阶激活函数参与网络训练，提高了卷积神经网络的训练速度。《分数阶理论在BP神经网络中的应用》(陈小磊.南京林业大学,2013.)在卷积神经网络训练反向传播过程中，直接对误差求分数阶偏导数，并进行变阶次的迭代学习，实现了分数阶次与整数阶次的切换和分数阶次的自适应调整，使得网络训练既具有收敛速度又有好的收精度。专利申请《一种改进卷积神经网络结构的方法》(公开号：CN 106960243 A)利用分数阶最大值池化原理，将传统卷积神经网络结构中的最大值池化层全部更改为分数阶，达到图像任意维度的下采样降维，提高了网络训练效率。上述算法虽然与传统算法相比有一定优势，但“松散”的结合方式并没有探究分数阶理论与卷积神经网络理论结合问题的实质。有针对性的改进卷积神经网络的训练过程，才能进一步提高网络参数精度，提高网络性能。

发明内容

本发明的目的是克服上述背景技术的不足，实现了分数阶与卷积神经网络理论的“紧密”结合，提供了一种卷积神经网络分数阶误差反向传播方法，具体由以下方案实现：

所述卷积神经网络分数阶误差反向传播方法,包括如下步骤：

步骤1)选择卷积神经网络模型；

步骤2)利用分数阶误差反向传播方法更新网络权值；

步骤3)根据所述的网络权值，获取卷积神经网络参数。

所述卷积神经网络分数阶误差反向传播方法的进一步设计在于，所述步骤1)具体包括：

步骤1-1)设定神经网络模型，所述神经网络模型包括一层输入层、n层隐藏层以及一层输出层，所述输入层、隐藏层、输出层的节点个数分别对应为n₁，n₂，1个；

步骤1-2)设定大量高分辨率图像{X_i}和其对应的低分辨率图像{Y_i}组成的训练集，其中：X表示高分辨率图像，Y表示低分辨率图像，i表示图像索引；步骤1-3)设定卷积神经网络的权值和偏置为Θ＝{W,B}，设定误差函数和激活函数分别为L和σ，其中W表示权值，B为偏置。

所述卷积神经网络分数阶误差反向传播方法的进一步设计在于，所述步骤2包括以下子步骤：

步骤2-1)网络初始化：初始化网络权值和偏置Θ＝{W₁,B₁}，设置最大迭代次数；