[发明专利]基于流形学习的数据嵌入方法在审
申请号: | 202111014241.8 | 申请日: | 2021-08-31 |
公开(公告)号: | CN113673685A | 公开(公告)日: | 2021-11-19 |
发明(设计)人: | 臧泽林;徐永杰;李子青 | 申请(专利权)人: | 西湖大学 |
主分类号: | G06N3/04 | 分类号: | G06N3/04;G06N3/08;G06K9/62 |
代理公司: | 郑州隆盛专利代理事务所(普通合伙) 41143 | 代理人: | 何强;刘爽 |
地址: | 310000 浙江省*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 流形 学习 数据 嵌入 方法 | ||
本发明涉及深度流形学习,尤其涉及基于流形学习的数据嵌入方法,设计语义网络和嵌入网络,在潜在空间中定义样本间的语义相似度,避免直接在输入空间中定义相似度引起的错误负样本问题,使用数据增强手段,生成样本的近邻样本,进而保证流形的连通性,为深度流形学习提供基础,设计语义缩放模块,迫使来自相同源数据的两个增强数据有更小的语义距离和更高的语义相似度,进而学习数据增强带来的先验知识。
技术领域
本发明涉及深度流形学习,尤其涉及基于流形学习的数据嵌入方法。
背景技术
数据嵌入任务常常借助于流形学习方法,流形学习是一类无监督的估计器,旨在将为嵌入高维空间的低维流形映射到合理的低维空间完成多种下游任务 (如聚类、可视化、社群发现等)。深度流形学习期望使用深度神经网络提高流形学学习的嵌入和泛化能力。不过目前大多数流形学习方法不能处理不充分流形观测数据(复杂、文本等数据这是因为大多数复杂的流形数据具有超高的维度(超过10000维),而且只有非常不充分的观测;例如,ImageNet的维度是 224*224*3,但样本总数只有1280K,平均每个维度只有1280K/(224*224*3)=8.5 pic/dim个图片。而在实际情况高维空间的指数广阔性性会使得不充分更为严重,导致在高维空间中获得足够的采样样本成为一个伪命题。经典(深度)流形学习假设流形局部具有连通性,因此当流形复杂、采样不充分时经典流形学习往往不能有效工作。以图1中的高维图像数据为例:随着流形数据逐渐复杂化(维度变高、流形结构变复杂、相对采样变不充分),对流形制定次数的观测逐渐变得不充分,导致所有的深度流形学习方法逐渐失效。
综上,目前大多数(深度)流形学习方法不能处理复杂的流形数据(图像、文本等),这是因为大多数复杂的流形数据具有超高的维度(超过10000维),而且只有非常不充分的观测;当前方法可以应用于多种数据(流形数据、图像数据、图结构数据等),需要针对不同种类的数据特异性设计算法步骤完成嵌入。
发明内容
本发明的目的在于克服现有技术中的不足,提供一种通过生成样本保证流动性,进而完成深度流形学习的基于流形学习的数据嵌入方法。
本发明是通过以下技术方案实现的:一种基于流形学习的数据嵌入方法,包括以下步骤,
S1,设计语义网络,所述语义网络用于将数据从输入空间映射到语义空间;
S2,设计嵌入网络,所述嵌入网络用于将数据从语义空间映射到嵌入空间;
S3,数据增广,对数据[x1,x2,…,xN]进行u次数据增广获得增广后的数据 V={[v1,1,v1,2,…,v1,N],…,[vu,1,vu,2,…,vu,N]};[v1,1,v1,2,…,v1,N]为1次数据增广后的结果;
S4,从V中取任意B组数据,B为网络训练的batch数量一般设定为256,每一组数据为两个个增广后的数据vb,i,vb,j,将数据通过语义网络映射到语义空间,得到数据zb,i,zb,j,b为组的索引;
S5,将数据zi,zj通过嵌入网络映射到嵌入空间中,得到数据eb,i,eb,j;
S6,计算在语义空间中两个点zb,i,zb,j的距离
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于西湖大学,未经西湖大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111014241.8/2.html,转载请声明来源钻瓜专利网。
- 上一篇:全方位集光太阳能板
- 下一篇:沙格列汀中间体的合成方法
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置