[发明专利]基于流形学习的数据嵌入方法在审

专利信息
申请号: 202111014241.8 申请日: 2021-08-31
公开(公告)号: CN113673685A 公开(公告)日: 2021-11-19
发明(设计)人: 臧泽林;徐永杰;李子青 申请(专利权)人: 西湖大学
主分类号: G06N3/04 分类号: G06N3/04;G06N3/08;G06K9/62
代理公司: 郑州隆盛专利代理事务所(普通合伙) 41143 代理人: 何强;刘爽
地址: 310000 浙江省*** 国省代码: 浙江;33
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 基于 流形 学习 数据 嵌入 方法
【说明书】:

发明涉及深度流形学习,尤其涉及基于流形学习的数据嵌入方法,设计语义网络和嵌入网络,在潜在空间中定义样本间的语义相似度,避免直接在输入空间中定义相似度引起的错误负样本问题,使用数据增强手段,生成样本的近邻样本,进而保证流形的连通性,为深度流形学习提供基础,设计语义缩放模块,迫使来自相同源数据的两个增强数据有更小的语义距离和更高的语义相似度,进而学习数据增强带来的先验知识。

技术领域

本发明涉及深度流形学习,尤其涉及基于流形学习的数据嵌入方法。

背景技术

数据嵌入任务常常借助于流形学习方法,流形学习是一类无监督的估计器,旨在将为嵌入高维空间的低维流形映射到合理的低维空间完成多种下游任务 (如聚类、可视化、社群发现等)。深度流形学习期望使用深度神经网络提高流形学学习的嵌入和泛化能力。不过目前大多数流形学习方法不能处理不充分流形观测数据(复杂、文本等数据这是因为大多数复杂的流形数据具有超高的维度(超过10000维),而且只有非常不充分的观测;例如,ImageNet的维度是 224*224*3,但样本总数只有1280K,平均每个维度只有1280K/(224*224*3)=8.5 pic/dim个图片。而在实际情况高维空间的指数广阔性性会使得不充分更为严重,导致在高维空间中获得足够的采样样本成为一个伪命题。经典(深度)流形学习假设流形局部具有连通性,因此当流形复杂、采样不充分时经典流形学习往往不能有效工作。以图1中的高维图像数据为例:随着流形数据逐渐复杂化(维度变高、流形结构变复杂、相对采样变不充分),对流形制定次数的观测逐渐变得不充分,导致所有的深度流形学习方法逐渐失效。

综上,目前大多数(深度)流形学习方法不能处理复杂的流形数据(图像、文本等),这是因为大多数复杂的流形数据具有超高的维度(超过10000维),而且只有非常不充分的观测;当前方法可以应用于多种数据(流形数据、图像数据、图结构数据等),需要针对不同种类的数据特异性设计算法步骤完成嵌入。

发明内容

本发明的目的在于克服现有技术中的不足,提供一种通过生成样本保证流动性,进而完成深度流形学习的基于流形学习的数据嵌入方法。

本发明是通过以下技术方案实现的:一种基于流形学习的数据嵌入方法,包括以下步骤,

S1,设计语义网络,所述语义网络用于将数据从输入空间映射到语义空间;

S2,设计嵌入网络,所述嵌入网络用于将数据从语义空间映射到嵌入空间;

S3,数据增广,对数据[x1,x2,…,xN]进行u次数据增广获得增广后的数据 V={[v1,1,v1,2,…,v1,N],…,[vu,1,vu,2,…,vu,N]};[v1,1,v1,2,…,v1,N]为1次数据增广后的结果;

S4,从V中取任意B组数据,B为网络训练的batch数量一般设定为256,每一组数据为两个个增广后的数据vb,i,vb,j,将数据通过语义网络映射到语义空间,得到数据zb,i,zb,j,b为组的索引;

S5,将数据zi,zj通过嵌入网络映射到嵌入空间中,得到数据eb,i,eb,j

S6,计算在语义空间中两个点zb,i,zb,j的距离

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于西湖大学,未经西湖大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202111014241.8/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top