[发明专利]轻量级自注意力模块、神经网络模型和神经网络构架的搜索方法在审
| 申请号： | 202010210768.7 | 申请日： | 2020-03-23 |
| 公开（公告）号： | CN111539524A | 公开（公告）日： | 2020-08-14 |
| 发明（设计）人： | 靳潇杰;李英伟;梅杰儒;连晓晨;杨林杰;杨建朝 | 申请（专利权）人： | 字节跳动有限公司 |
| 主分类号： | G06N3/08 | 分类号： | G06N3/08;G06N3/04 |
| 代理公司： | 泰和泰律师事务所 51219 | 代理人： | 祝海燕 |
| 地址： | 美国加利福尼亚州洛杉矶西*** | 国省代码： | 暂无信息 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本公开实施例公开了轻量级自注意力模块、神经网络模型和神经网络构架的搜索方法。该模块的一具体实施方式包括：特征信息输入单元，采样单元，整合单元，卷积单元和累加单元，其中，特征信息输入单元，用于接收输入的目标对象的特征向量；采样单元，包括至少两个采样子单元，采样子单元用于对特征向量进行采样，得到采样特征向量；整合单元，用于整合至少两个采样子单元各自输出的采样特征向量，得到整合采样特征向量；卷积单元，用于对整合采样特征向量执行卷积操作；累加单元，用于将卷积单元输出的卷积结果与特征向量进行累加。实现了可无缝嵌入神经网络中的轻量级自注意力模块，显著减少了自注意力模块的计算复杂度，同时提升了神经网络的分类精度。 | ||
| 搜索关键词： | 轻量级 注意力 模块 神经网络 模型 构架 搜索 方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于字节跳动有限公司，未经字节跳动有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202010210768.7/，转载请声明来源钻瓜专利网。
