[发明专利]用重用TRANSFORMER利用注意力中的冗余在审
| 申请号： | 202211220686.6 | 申请日： | 2022-10-08 |
| 公开（公告）号： | CN115577796A | 公开（公告）日： | 2023-01-06 |
| 发明（设计）人： | 文卡塔·S·博贾纳帕里;安德烈亚斯·法伊特;阿扬·查克拉巴尔蒂;弗雷德里克·利乌;黑曼舒·贾殷;米夏尔·卢卡西克;桑吉夫·库马尔;张潆文 | 申请（专利权）人： | 谷歌有限责任公司 |
| 主分类号： | G06N20/00 | 分类号： | G06N20/00 |
| 代理公司： | 中原信达知识产权代理有限责任公司 11219 | 代理人： | 邓聪惠;周亚荣 |
| 地址： | 美国加利*** | 国省代码： | 暂无信息 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本公开涉及用重用TRANSFORMER利用注意力中的冗余。提供的是通过在Transformer或其他基于注意力的神经网络或机器学习模型的层和/或头之间重用许多注意力分数来改进该模型的计算效率的系统和方法。为了在实现可比较的或甚至优良的结果的同时降低基于自注意力的模型的计算成本，本公开的示例方面提出在一个或多个后续层中重用在一个层中计算的注意力分数的新颖架构。 | ||
| 搜索关键词： | 重用 transformer 利用 注意力 中的 冗余 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于谷歌有限责任公司，未经谷歌有限责任公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202211220686.6/，转载请声明来源钻瓜专利网。
- 上一篇：用于土地管理的界桩定位仪
- 下一篇：模块化喷雾干燥系统
- 基于Transformer+LSTM神经网络模型的商品销量预测方法及装置
- 一种基于Transformer模型自然场景文字识别方法
- 一种深度Transformer级联神经网络模型压缩算法
- 点云分割方法、系统、介质、计算机设备、终端及应用
- 基于Transformer的中文智能对话方法
- 一种基于改进Transformer模型的飞行器故障诊断方法和系统
- 一种基于Transformer模型的机器翻译模型优化方法
- 基于Transformer和增强交互型MPNN神经网络的小分子表示学习方法
- 基于U-Transformer多层次特征重构的异常检测方法及系统
- 基于EfficientDet和Transformer的航空图像中的飞机检测方法
