[发明专利]一种基于残差网络的多层感知机人工神经网络

说明书

技术领域

本发明涉及仿生网络计算领域，具体涉及一种基于残差网络的多层感知机人工神经网络。

背景技术

人工神经网络(Artificial Neural Network)是一种仿生网络，通过模仿生物大脑的中枢神经系统，建立具有函数估计和分析的数学模型或计算模型，通常运用在机器学习和认知学习等领域。多层感知机(Multilayer Perception)，也叫前向传播网络，第一次是在1974年由Paul J.Werbos在其博士论文中提出，是一种典型深度学习的结构，包含输入层，输出层和隐藏层。隐藏层的层数和复杂程度决定了网络的能力，而过于复杂的网络又容易产生过拟合的现象，如何正确设计隐藏层是深度学习的难点。

近年来，深度学习的网络结构不断加“深”——其隐藏层越来越多，在降低了错误率的同时，却也暴露除了另一个问题——退化问题，过量的隐藏层堆叠容易使得错误率重新变高。在此基础上，残差网络是一种有效的神经网络结构，通过shortcut连接层与层，使得部分信息可以直接传递，提高了网络的准确度。最重要的是，该网络结构使得更深的神经网络变得可行，在实验过程中，网络甚至可以达到千层以上。

残差网络优越的特性，使得其越来越多的被使用在生产当中，其良好的性能在计算机视觉方面取得了相当的成功。然而在使用过程中，残差网络往往结合卷积神经网络(Convolutional Neural Network)使用，卷积操作和反向传播过程中的链式求导会导致训练过程中产生大量的计算；同时，卷积本身的特点使得其更适用于对图像的操作，然而对于其他诸如语音信号，自然语言处理等领域，效果要略显薄弱。

发明内容

本发明的目的在于克服现有技术存在的以上问题，提供一种基于残差网络的多层感知机人工神经网络，本发明是一种以残差网络为基础，计算量较小、较为准确的多层感知机人工神经网络，能够更好地在除了图像以外的更多领域的应用。

为实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现：

一种基于残差网络的多层感知机人工神经网络，残差神经网络搭建一个信息传递快速通道，训练过程保持原始信息，在残差神经网络中存在内协变量偏移，在残差神经网络中引入BN方法，对于每一个神经元的输入加入参数和每个神经元的输入为：

其中，是采用标准差标准化的直线型无量纲化函数，表示为

μ和σ分别代表输入分布的期望值和标准差；

基于参差网络的多层感知机人工神经网络包括了若干网络模块结构，采用全连接的方式代替残差神经网络中的卷积，所述网络模块结构中神经元结构通过每一个隐藏层的输出来得到完整残差模块的输出，

其中，每一个隐藏层的输出为

s_i＝ReLU[BN(net_i)](3)

完整的参差模块的输出为

o_i＝ReLU[BN(net_i+1)+net_i](4)

优选地，当所述残差模块的输入和输出的维度不同，采用全连接调整输入的维度，使得残差模块运行。

优选地，所述残差模块数据集训练的准确率达98％。

本发明的有益效果是:

本发明是一种以残差网络为基础，计算量较小、比较准确的多层感知机人工神经网络，能够更好地使用在除了图像以外的更多领域的应用。

本发明的人工神经网络克服传统残差网络依赖于卷积神经网络导致的计算代价大，适用范围窄，提出以多层感知机人工神经网络为载体的残差模型，该模型在深度学习中具有更广泛的适用性，可以应用在不限于图像领域的其他各个领域。减少计算量，加快了深度学习模型训练过程，在应用过程中有更好的优势；应用范围广，可以广泛应用于语音识别，自然语言处理，心电图监测等领域。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。本发明的具体实施方式由以下实施例及其附图详细给出。

附图说明

为了更清楚地说明本发明实施例技术中的技术方案，下面将对实施例技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明残差网络结构图；

图2是本发明神经元结构图。

具体实施方式