[发明专利]一种深度学习网络结构算法

说明书

技术领域

本发明涉及深度学习算法的技术领域，具体涉及一种自适应稀疏连接深度学习网络结构算法。

背景技术

深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。其概念由Hinton等人于2006年提出。基于深度置信网络(DBN)提出非监督贪心逐层训练算法，为解决深层结构相关的优化难题带来希望，随后提出多层自动编码器深层结构。此外Lecun等人提出的卷积神经网络是第一个真正多层结构学习算法，它利用空间相对关系减少参数数目以提高训练性能。

深度神经网络是一种具备至少一个隐层的神经网络。与浅层神经网络类似，深度神经网络也能够为复杂非线性系统提供建模，但多出的层次为模型提供了更高的抽象层次，因而提高了模型的能力。图1为深度神经全连接网络中各网络层之间的连接示意图，从图中可以看出，全连接网络意味着上一层中的每一个神经元都和下一层的任何神经元有连接关系。这是最早使用，也是普遍有效、应用最广的一种连接方式。然而，这种连接方式的最大缺陷是：计算量与内存消耗量都十分巨大，效率低。为此，很多学者，提出了一些稀疏连接算法，试图改善这个问题，表1是一个典型的卷积稀疏连接表：

表1

必须说明的是，上述工作的初衷其实更多的只是为了改善精度，减小计算开销只是一个副产品。因为对于很多具体问题，全连接关系虽然可以拿来直接使用，但是并非最好的一种。这和现实物理世界问题，关联往往具有局部性密切相关。

事实上，大量的问题都可以通过这种途径来有针对的改进。然而，我们的出发点则不是精度，而是更多的关注计算效率。通过改变连接关系来提高计算效率，但是对于精度，不会有损害，至少不会降低太多。

发明内容

针对相关技术中存在的不足，本发明所要解决的技术问题在于：提供一种既能提高计算效率，又能保证计算精度的自适应稀疏连接深度学习网络结构算法。

为解决上述技术问题，本发明采用的技术方案为：一种深度学习网络结构算法，确定各网络层之间的连接关系时，包括以下步骤：S101、从待训练数据中收集原数据的一个子集；S102、利用样本数据进行全连接训练，直到收敛；S103、设置一个阈值，得出稀疏连接表；S104、利用新的稀疏连接表对原数据进行计算。

优选地，步骤S101中，收集原数据的一个子集时，采用的方式为随机采样。

优选地，步骤S103，所述设置一个阈值，得出稀疏连接表之前，还包括：观察计算获得的网络权值，比较同一网络层内的各种连接的权值大小。

本发明的有益技术效果在于：本发明主要利用权值的大小值来确定各层之间的连接关系，即从全连接关系自动推导而来，因此能够保证较高的精度，而由于采取了稀疏连接表来进行计算，一方面极大的减小了计算量，另一方面，如果采用模型并行的话，则减少了大量通信，因此也提高了并行可扩展性，进而提高了计算效率。

附图说明

图1是深度神经全连接网络中各网络层之间的连接示意图；

图2是本发明实施例一提供的一种深度学习网络结构算法的流程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图2是本发明实施例一提供的一种深度学习网络结构算法的流程示意图，如图2所示，一种深度学习网络结构算法，确定各网络层之间的连接关系时，包括以下步骤：

S101、从待训练数据中收集原数据的一个子集；

S102、利用样本数据进行全连接训练，直到收敛；

S103、设置一个阈值，得出稀疏连接表；

S104、利用新的稀疏连接表对原数据进行计算。

具体地，步骤S101中，收集原数据的一个子集时，采用的方式为随机采样。

具体地，步骤S103，所述设置一个阈值，得出稀疏连接表之前，还包括：观察计算获得的网络权值，比较同一网络层内的各种连接的权值大小。

下面通过一个示例来说明上述过程，假设某一网络层的连接表如表2所示：

表2