[发明专利]基于同源连续性的单纯形深度神经网络模型及构建方法

说明书

一种基于同源连续性的单纯形深度神经网络模型的构建方法，包括如下步骤：步骤1，对输入样本进行特征提取，通过若干并行卷积组提取得到输入样本的特征图，挖掘样本点在高维空间的流形分布；步骤2，通过自组织映射，对步骤1中提取到的特征图进行聚类，构建流形分布子空间；步骤3，构建单纯形神经元，基于所述单纯形神经元对步骤2中自组织映射聚类后的不同流形分布子空间进行覆盖学习，由此得到所述基于同源连续性的单纯形深度神经网络模型。本发明构造的单纯形神经元模型，以样本拓扑结构在特征隐空间中具有连通性作为先验知识，学习单纯形神经元的参数，在特征隐空间对样本进行覆盖学习，学习速度更快，并且具有更好的逼近性能和抗噪能力。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种基于同源连续性的单纯形深度神经网络模型及构建方法。

背景技术

深度神经网络可以地将特征提取与分类学习自然而然地整合在一起，实现一种端到端的学习。近年来，深度神经网络快速发展，在分类、定位、语义分割和行为识别等任务中的瓶颈得以突破，在现实世界的各个领域都达到甚至超越了人的表现水平。

深度神经网络是由大量的神经元构成，其神经元的非线性和各种复杂连接保证了深度神经网络可以以无限精度逼近任意Rⁿ紧子集上的连续函数，这是深度神经网络可以取得成功的原因之一。另外，在自然获取的数据中天然存在一定的流形结构分布，深度学习也是在学习数据内部的流形结构分布。

神经网络的发展离不开对生物神经网络的模仿。1943年，Meculloch和Pitts提出了M-P线性神经元，在神经网络的研究中开启了新的纪元。1988年，Broomhead和Lowe提出径向基函数RBF神经元，将低维输入数据投影到由RBF组成的高维隐空间中的，成功解决了M-P神经元线性不可分的问题，从而神经网络可以真正用于解决实际任务。这种神经元模型仍需假定在高维空间中数据是线性可分的，但实际中数据未必服从该假设，因而基于上述神经元的神经网络模型有一定的局限性，其特征的表达性和判别性受到一定制约，模型精度受到一定影响。

国内王守觉院士也提出一种基于高维空间几何分析理论的神经网络模型。相对于传统模式识别方法，他认为应当更注重“认知”，而非“划分”，从而引入基于覆盖的仿生模式识别方法。该理论认为，事物具有“同源连续性”，即同类事物的两个不同样本之间至少存在一个渐变的过程，在这个过程中所有的样本仍属于该类别。体现在特征隐空间中，即同类样本是连续分布的，任意两个样本点之前存在至少一条连续的通道，经过通道上的每一个点均属于该类样本。以同源连续性为基础，仿生模式识别即研究在高维特征隐空间中如何对样本进行最优覆盖。

发明内容

有鉴于此，本发明的主要目的在于提供一种基于同源连续性的单纯形覆盖模型及方法，以期至少部分地解决上述技术问题中的至少之一。

为了实现上述目的，作为本发明的一方面，提供了一种基于同源连续性的单纯形覆盖模型的构建方法，包括以下步骤：

步骤1，对输入样本进行特征提取，通过若干并行卷积组提取得到输入样本的特征图，挖掘样本点在高维空间的流形分布；

步骤2，通过自组织映射，对步骤1中提取到的特征图进行聚类，构建流形分布子空间；

步骤3，构建单纯形神经元，基于所述单纯形神经元对步骤2中自组织映射聚类后的不同流形分布子空间进行覆盖学习，由此得到所述基于同源连续性的单纯形深度神经网络模型。

其中，步骤1中所述的并行卷积组包括但不限于VGG、ResNet、Densenet或Xception结构。

其中，步骤2中所述的自组织映射是基于多种度量方式进行无监督聚类，其中包括但不限于欧氏距离或余弦距离。

其中，步骤3中所述的单纯形神经元的构建过程如下：