[发明专利]一种基于采样注意力的长序列高效学习方法在审
| 申请号： | 202110025631.9 | 申请日： | 2021-01-08 |
| 公开（公告）号： | CN112668665A | 公开（公告）日： | 2021-04-16 |
| 发明（设计）人： | 吴偶;江超;邓英俊 | 申请（专利权）人： | 天津大学;核工业理化工程研究院 |
| 主分类号： | G06K9/62 | 分类号： | G06K9/62;G06N3/08;G06N7/00 |
| 代理公司： | 天津市北洋有限责任专利代理事务所 12201 | 代理人： | 刘子文 |
| 地址： | 300072*** | 国省代码： | 天津;12 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开一种基于采样注意力的长序列高效学习方法。包括以下步骤：收集长序列样本构成长序列样本集，然后采集一部分样本，并对每一个样本，随机截取子序列来构成一个子序列样本集。利用经典的Transformer算法，并依据预测最后一个节点的自监督学习策略，来构建长序列初始Transformer模型。利用节点链接的剪枝方法，来剪掉每个字样本对应的Transformer模型中比例为α的链接。剪掉的链接对应的节点类别记为0，未被剪掉的链接对应的节点类别记为1。利用logistic回归模型来学习一个分类模型。再利用Transformer对原长序列样本集开展自监督学习，在每个样本上学习上，利用上述构建的logistic回归模型，抽取序列上比例为(1‑α)的节点。最终可以构建一个针对该长序列样本集的深度学习模型。 | ||
| 搜索关键词： | 一种 基于 采样 注意力 序列 高效 学习方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于天津大学;核工业理化工程研究院，未经天津大学;核工业理化工程研究院许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202110025631.9/，转载请声明来源钻瓜专利网。
