[发明专利]基于流形学习的数据嵌入方法

说明书

本发明涉及深度流形学习，尤其涉及基于流形学习的数据嵌入方法，设计语义网络和嵌入网络，在潜在空间中定义样本间的语义相似度，避免直接在输入空间中定义相似度引起的错误负样本问题，使用数据增强手段，生成样本的近邻样本，进而保证流形的连通性，为深度流形学习提供基础，设计语义缩放模块，迫使来自相同源数据的两个增强数据有更小的语义距离和更高的语义相似度，进而学习数据增强带来的先验知识。

技术领域

本发明涉及深度流形学习，尤其涉及基于流形学习的数据嵌入方法。

背景技术

数据嵌入任务常常借助于流形学习方法，流形学习是一类无监督的估计器，旨在将为嵌入高维空间的低维流形映射到合理的低维空间完成多种下游任务 (如聚类、可视化、社群发现等)。深度流形学习期望使用深度神经网络提高流形学学习的嵌入和泛化能力。不过目前大多数流形学习方法不能处理不充分流形观测数据(复杂、文本等数据这是因为大多数复杂的流形数据具有超高的维度(超过10000维)，而且只有非常不充分的观测；例如，ImageNet的维度是 224*224*3，但样本总数只有1280K，平均每个维度只有1280K/(224*224*3)＝8.5 pic/dim个图片。而在实际情况高维空间的指数广阔性性会使得不充分更为严重，导致在高维空间中获得足够的采样样本成为一个伪命题。经典(深度)流形学习假设流形局部具有连通性，因此当流形复杂、采样不充分时经典流形学习往往不能有效工作。以图1中的高维图像数据为例：随着流形数据逐渐复杂化(维度变高、流形结构变复杂、相对采样变不充分)，对流形制定次数的观测逐渐变得不充分，导致所有的深度流形学习方法逐渐失效。

综上，目前大多数(深度)流形学习方法不能处理复杂的流形数据(图像、文本等)，这是因为大多数复杂的流形数据具有超高的维度(超过10000维)，而且只有非常不充分的观测；当前方法可以应用于多种数据(流形数据、图像数据、图结构数据等)，需要针对不同种类的数据特异性设计算法步骤完成嵌入。

发明内容

本发明的目的在于克服现有技术中的不足，提供一种通过生成样本保证流动性，进而完成深度流形学习的基于流形学习的数据嵌入方法。

本发明是通过以下技术方案实现的：一种基于流形学习的数据嵌入方法，包括以下步骤，

S1，设计语义网络，所述语义网络用于将数据从输入空间映射到语义空间；

S2，设计嵌入网络，所述嵌入网络用于将数据从语义空间映射到嵌入空间；

S3，数据增广，对数据[x₁,x₂,…,x_N]进行u次数据增广获得增广后的数据 V＝{[v_1,1,v_1,2,…,v_1,N],…,[v_u,1,v_u,2,…,v_u,N]}；[v_1,1,v_1,2,…,v_1,N]为1次数据增广后的结果；

S4，从V中取任意B组数据，B为网络训练的batch数量一般设定为256，每一组数据为两个个增广后的数据v_b,i,v_b,j，将数据通过语义网络映射到语义空间，得到数据z_b,i,z_b,j，b为组的索引；

S5，将数据z_i,z_j通过嵌入网络映射到嵌入空间中，得到数据e_b,i,e_b,j；

S6，计算在语义空间中两个点z_b,i,z_b,j的距离