[发明专利]一种稀疏深度神经网络的构造方法

说明书

本发明涉及深度学习神经网络技术领域，具体涉及一种稀疏深度神经网络的构造方法，包括以下步骤：S1：通过L_1,∞‑权重正则化开发了稀疏深度神经网络空间的系统框架；S2：建立步骤S1中的稀疏深度神经网络空间的Rademacher复杂度；S3：基于步骤S2中的稀疏深度神经网络空间的Rademacher复杂度导出回归问题和分类问题的泛化误差界限；S4：采用易于实现的梯度投影下降算法构造稀疏深度神经网络；这种稀疏深度神经网络的构造方法，建立了基于L_1,∞‑权重正则化的包含偏置神经元的神经网络的回归和分类问题的泛化误差边界，采用易于实现的梯度投影下降算法，来实际构造出一种稀疏神经网络。

技术领域

本发明涉及深度学习神经网络技术领域，具体涉及一种稀疏深度神经网络的构造方法。

背景技术

近几年来，深度神经网络成功应用在了很多实际生活中的领域，使其引起了很大的关注。而且随机梯度下降法和图形处理单元在优化方面出现了很多新进展，这使得深度神经网络的训练更易于应用到数百万量级参数的问题。但是，过拟合一直是深度神经网络面临的关键障碍，因为它会导致泛化性能下降。

根据最新研究表明，可以对深度神经网络进行修正，并且不会降低其准确性。而且还有学者的经验表明，诱导稀疏性可以缓解过拟合问题并节省计算资源，而常见的策略是应用引起稀疏性的调节器，例如L₀惩罚项或网络中参数的总数。现有的解决过拟合问题的方法包括提前终止、参数范数惩罚(例如L₁和L₂正则化)、权值共享等等，但是，在现有文献中很少研究稀疏深度神经网络的理论研究。

发明内容

本发明的目的是提供一种稀疏深度神经网络的构造方法，建立了基于L_1,∞- 权重正则化的包含偏置神经元的神经网络的回归和分类问题的泛化误差边界，采用易于实现的梯度投影下降算法，来实际构造出一种稀疏神经网络。

为了实现以上目的，本发明采用的技术方案为：一种稀疏深度神经网络的构造方法，包括以下步骤：

S1：通过L_1,∞-权重正则化开发了稀疏深度神经网络空间的系统框架；

S2：建立步骤S1中的稀疏深度神经网络空间的Rademacher复杂度；

S3：基于步骤S2中的稀疏深度神经网络空间的Rademacher复杂度导出回归问题和分类问题的泛化误差界限；

S4：采用易于实现的梯度投影下降算法构造稀疏深度神经网络。

进一步的，所述的稀疏深度神经网络规定如下：通过将偏置神经元1附加到原始层，为每个隐藏层构建一个增强层，然后将权重矩阵和偏置向量组合起来以形成一个新矩阵，定义第一层隐藏层为其中

进一步的，所述的深度神经网络的稀疏性可以通过为每个隐藏层的L_1,∞范数设置适当的约束来控制，其中s₁×s₂矩阵A的L_1,∞范数定义为

进一步的，定义作为所有满足下列条件的稀疏深度神经网络的集合：(a)包含k个隐藏层；(b)第l层隐藏层的神经元数量为d_l，其中l＝1,2,...,k，输入的维度为d₀，输出维度为d_k+1；

(c)其中l＝1,2,...,k；(d)的第j列的L₁范数由o的第j个元素界定：其中j＝1,...,d_k+1。

进一步的，定义对输出层没有任何约束的稀疏深度神经网络的集合为：将对问题的理解转换为损失函数L(·,·)，其中是样本，k和d分别深度神经网络的深度和宽度，正则化常数c控制稀疏深度神经网络的稀疏性。