“注意力模型”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果1670109个，建议您升级VIP下载更多相关专利

[发明专利]目标追踪模型的训练方法及装置-CN202311168764.7在审
发明人：蒋召 -专利权人：深圳须弥云图空间科技有限公司
申请日： 2023-09-12 - 公布日： 2023-10-24 - 主分类号： G06V10/774 文献下载
摘要：本申请提供了一种目标追踪模型的训练方法及装置。该方法包括：在残差神经网络的第一阶段网络和第二阶段网络之间插入第一分片注意力网络，其中，第一分片注意力网络具有K个分片注意力分支；在残差神经网络的第二阶段网络和第三阶段网络之间插入第二分片注意力网络，其中，第二分片注意力网络具有N个分片注意力分支；在残差神经网络的第三阶段网络和第四阶段网络之间插入第三分片注意力网络，其中，第三分片注意力网络具有M个分片注意力分支，K、N和M依次增大；将插入三个分片注意力网络后的残差神经网络的作为目标追踪模型，对目标追踪模型进行训练。
目标追踪模型训练方法装置

[发明专利]一种轻量化图像分割方法、装置及存储介质-CN202210618018.2在审
发明人：谌东东;阮佳程;李迪 -专利权人：西安电子科技大学
申请日： 2022-05-31 - 公布日： 2022-08-23 - 主分类号： G06T7/10 文献下载
摘要：该方法包括：获取第一图像数据；将所述第一图像数据通过空洞门控注意力模型进行分割处理，获得分割结果，所述空洞门控注意力模型包括两个部分：编码部分和解码部分；其中，所述编码部分包括普通编码单元和注意力编码单元；所述解码部分包括注意力解码单元和普通解码单元；所述普通编码单元、所述注意力编码单元、所述注意力解码单元以及所述普通解码单元依次连接。通过空洞门控注意力模型对第一图像数据进行分割，较大的减少了图像分割中的参数量和计算量，并获得了较好的分割结果。
一种量化图像分割方法装置存储介质

[发明专利]一种基于注意力图的视觉Transformer模型剪枝方法-CN202211239440.3在审
发明人：王琼;黄丹;毛君竹;姚亚洲 -专利权人：南京理工大学
申请日： 2022-10-11 - 公布日： 2022-11-08 - 主分类号： G06N3/08 文献下载
摘要：本发明公开了一种基于注意力图的视觉Transformer模型剪枝方法，应用于机器视觉推理系统，包括如下步骤：在机器视觉推理系统中，通过数据训练网络对ViT模型执行若干轮初始训练，以生成完整的注意力图；计算注意力图的信息熵，根据计算的信息熵大小对注意力头进行剪枝操作；移除被剪枝注意力头关联的各权重参数，以获得新ViT模型；重新微调新ViT模型的参数；通过对多头注意力模块进行剪枝，删除具有高不确定性的特征图和相应的注意力头，以减少ViT模型的参数和复杂性，降低ViT模型的计算复杂度和参数量，能够缩减ViT模型大小，最终达到在ViT模型性能有限损失的情况下实现ViT模型的轻量化。
一种基于注意力图视觉 transformer 模型剪枝方法

[发明专利]问答匹配处理、模型训练方法、装置、设备及存储介质-CN201910569979.7在审
发明人：金戈;徐亮 -专利权人：平安科技（深圳）有限公司
申请日： 2019-06-27 - 公布日： 2019-11-12 - 主分类号： G06F16/33 文献下载
摘要：本申请涉及自然语言处理领域，使用基于自注意力机制的模型提取问题和回答之间的注意力特征，以根据注意力特征得到问题和回答之间的匹配程度。具体公开了一种问答匹配处理、模型训练方法、装置、设备及存储介质，该方法包括：获取问题文本和回答文本；对所述问题文本和回答文本进行分词处理，得到语料分词数据；对所述语料分词数据进行嵌入处理，得到嵌入表示数据；基于特征提取子模型，对所述嵌入表示数据进行特征提取得到自注意力特征向量，所述特征提取子模型为基于自注意力机制的模型；基于匹配子模型，根据所述自注意力特征向量生成问答匹配数据，输出所述问答匹配数据。
特征提取注意力子模型嵌入注意力机制表示数据存储介质模型训练匹配处理匹配数据特征向量问题文本分词匹配文本自然语言处理分词处理模型提取语料输出申请

[发明专利]语音识别方法、装置、电子设备、存储介质及程序产品-CN202210323478.2在审
发明人：李先刚;汤志远 -专利权人：贝壳找房网（北京）信息技术有限公司
申请日： 2022-03-29 - 公布日： 2022-06-28 - 主分类号： G10L15/06 文献下载
摘要：本发明实施例提供一种语音识别方法、装置、电子设备、存储介质及程序产品，该方法包括：获取待进行语音识别的语音信号；基于声学模型及语言模型对语音信号进行语音识别；其中，声学模型和语言模型是基于修改了自注意力模块的Transformer结构构建的，修改了自注意力模块的Transformer结构中的自注意力模块的自注意力值是基于神经网络的权重矩阵得到的。本发明实施例可以提高自注意力值的计算速度，进而提高改进的Transformer结构自注意力模块输出结果的速度，提高利用改进的Transformer结构构建的声学模型和语言模型的处理速度，从而从整体上提高了语音识别的处理速度
语音识别方法装置电子设备存储介质程序产品

[发明专利]基于注意力模型长短时记忆网络的洪水预测方法-CN201811317514.4有效
发明人：巫义锐;王晓珂;徐维刚;冯钧 -专利权人：河海大学
申请日： 2018-11-07 - 公布日： 2022-08-26 - 主分类号： G06N3/04 文献下载
摘要：本发明公开了一种基于注意力模型长短时记忆网络的洪水预测方法，包括采集洪水相关数据，洪水相关数据包括不同时间点的流量和洪水因子；在长短时记忆网络中引入注意力模型，构建基于注意力模型长短时记忆网络；用标准化后的洪水相关数据对基于注意力模型长短时记忆网络进行训练；利用训练后的基于注意力模型长短时记忆网络进行洪水预测。本发明保留了原有长短时记忆网络的序列建模能力，引入了注意力模型，使用循环方案来优化，它将局部情境信息描述为一种权重方案，忽略了一些对于预测没有用处的洪水因子，大大缩短了预测平均时间，同时也增加了准确性。
基于注意力模型短时记忆网络洪水预测方法

[发明专利]基于注意力机制的神经网络服装搭配方案生成方法及系统-CN201910993603.9有效
发明人：刘金环;宋雪萌;马军;聂礼强;陈竹敏;甘甜 -专利权人：山东大学
申请日： 2019-10-18 - 公布日： 2022-06-07 - 主分类号： G06V10/764 文献下载
摘要：本公开公开了基于注意力机制的神经网络服装搭配方案生成方法及系统，构建基于注意力机制的神经网络模型；构建训练集；将训练集输入到已构建的基于注意力机制的神经网络模型中，对基于注意力机制的神经网络模型进行训练，当模型的损失函数收敛时，停止训练，输出训练好的基于注意力机制的神经网络模型；获取待搭配的上衣；获取已有的若干件下衣；将待搭配的上衣和已有的若干件下衣，均输入到训练好的基于注意力机制的神经网络模型中，输出与待搭配的上衣所匹配的下衣
基于注意力机制神经网络服装搭配方案生成方法系统

[发明专利]图像处理方法、装置、电子设备和存储介质-CN202211205466.6在审
发明人：彭楠;李弼;希滕;张刚 -专利权人：北京百度网讯科技有限公司
申请日： 2022-09-29 - 公布日： 2023-01-06 - 主分类号： G06V10/764 文献下载
摘要：具体实现方案为：确定图像的注意力特征序列中多个注意力特征各自的局域信息；针对每个注意力特征，根据该注意力特征的局域信息，从深度学习模型的多个专家子模型中确定目标子模型，并使用目标子模型对该注意力特征进行处理，得到专家输出结果；以及根据多个注意力特征各自的专家输出结果，确定图像的处理结果。
图像处理方法装置电子设备存储介质

[发明专利]基于发散-聚合注意力的图像描述方法-CN202010092633.5有效
发明人：杜卓然;冀俊忠;张晓丹 -专利权人：北京工业大学
申请日： 2020-02-14 - 公布日： 2022-05-17 - 主分类号： G06F16/50 文献下载
摘要：本发明公开了基于发散‑聚合注意力的图像描述方法，获取MS COCO图像描述数据集并预处理：构建多角度观察模型，实现从MS COCO图像数据I的视觉以及细粒度语义信息的提取，得到图像特征V以及细粒度语义信息S*：构建聚合注意力模型；语言生成模型。本发明将这两种思维方式引入到了模型设计中，提出了发散‑聚合注意力模型，实现了视觉信息和语义信息的交互。图1是发散‑聚合注意力模型的概念图，可以看到通过发散观察和聚合注意力模块，模型产生了更生动准确的描述。
基于发散聚合注意力图像描述方法

[发明专利]一种可靠的用户注意力监测估计表示模型-CN202010957672.7有效
发明人：王海鹏;张淑鹏 -专利权人：西北工业大学
申请日： 2020-09-10 - 公布日： 2022-05-17 - 主分类号： G06F30/20 文献下载
摘要：本发明提供了一种可靠的用户注意力监测估计表示模型，包括单模态注意力计算层、多模态融合层和用户注意力表示层。通过对采集到的用户注意力变化的原始数据进行综合计算，得到表示用户当前注意力的注意力数值。本发明利用多个注意力检测模态，通过减少这些模态之间的依赖关系和优化多个模态注意力值的融合计算，能够获得更加可靠的用户注意力值，解决模态缺失或单模态检测效果不佳的用户注意力可靠检测问题。
一种可靠用户注意力监测估计表示模型

[发明专利]一种基于多部件自注意力机制的行人重识别方法-CN202010467045.5有效
发明人：陆易;叶喜勇;徐晓刚;张逸;张文广;祝敏航 -专利权人：之江实验室
申请日： 2020-05-28 - 公布日： 2020-09-04 - 主分类号： G06K9/00 文献下载
摘要：本发明提供了一种基于多部件自注意力机制的行人重识别方法，该方法首先预训练深度卷积神经网络骨干模型；然后对骨干模型进行分支后构建多部件自注意力网络，获得多部件自注意力特征；接着将多部件自注意力特征输入分类器，联合训练最小化交叉熵损失和度量损失；最后将测试集图片输入训练好的模型，融合输出的部件特征获得整体特征，经度量排序实现行人重识别。本发明通过充分考虑行人重识别问题中存在的各种挑战，提出了多部件自注意力机制，有效地扩展了注意力激活区域，丰富了行人特征；自注意力模块使网络更充分细致地关注具有判别特性的区域就，其中空间注意力模块和通道注意力模块以残差的形式融入网络
一种基于部件注意力机制行人识别方法

[发明专利]一种文本分类方法及装置-CN202310660414.6有效
发明人：吴亚军;蒋敏;暴宇健 -专利权人：深圳须弥云图空间科技有限公司
申请日： 2023-06-06 - 公布日： 2023-08-11 - 主分类号： G06F16/35 文献下载
摘要：该方法利用随机注意力层通过在待处理文本中不同的字符的位置上随机选择不同的位置进行注意力计算，以防止模型过拟合；利用局部注意力层通过选择与待处理文本中各个字符位置相邻的位置进行注意力计算，可以确定待处理文本中各个字符之间的局部关系，以及利用全局注意力层基于整个待处理文本中的所有字符的位置进行注意力计算确定待处理文本的全局关系。这样，通过将随机注意力层、局部注意力层和全局注意力层进行结合，可以利用待处理文本中字符的局部关系和全局关系对待处理文本进行更加准确的分类，从而可以提高待处理文本的类别确定结果的精确度，以及，可以防止模型过拟合，可以提高模型性能。
一种文本分类方法装置

[发明专利]一种信息处理方法、装置、计算机设备及存储介质-CN201910888623.X有效
发明人：吴晓琳 -专利权人：北京小米智能科技有限公司
申请日： 2019-09-19 - 公布日： 2023-10-27 - 主分类号： G06F40/58 文献下载
摘要：本公开是关于一种信息处理方法、装置、计算机设备及存储介质，所述方法包括：利用机器翻译模型的编码器对待翻译词句进行编码，得到编码信息；保存所述全局注意力参数；利用所述机器翻译模型的解码器，在所述待翻译词句中每一个词语的所述编码信息的解码循环中，根据所述全局注意力参数确定所述解码器的全局注意力；根据所述全局注意力获得对应所述解码循环中所要预测的词语的预测结果。由于会将解码时需要用到的全局注意力参数保存起来，因此，在解码器需要利用全局注意力参数确定全局注意力时可以直接调取存储的全局注意力参数，而不需要再次通过处理编码信息得到全局注意力参数，减少解码过程中的计算量；从而提高机器翻译模型的推理效率。
一种信息处理方法装置计算机设备存储介质

[发明专利]基于并行时空注意力机制的TCN多元时间序列预测方法-CN202011089562.X在审
发明人：章轲;樊谨;黄益攀;刘振涛;陈佰平 -专利权人：杭州电子科技大学
申请日： 2020-10-13 - 公布日： 2021-01-22 - 主分类号： G06Q10/04 文献下载
摘要：本发明公开了一种基于并行时空注意力机制的TCN多元时间序列预测方法，首先对公式进行定义，然后构建多元时间序列预测模型，包括两个并行的网络主干，空间注意力分支主干通过空间注意力模块提取外生序列和目标序列之间的空间相关性，时间注意力分支主干则通过时间注意力模块来捕捉窗口中所有时间步间的时间依赖性。空间注意力模块和时间注意力模块分别连接两个相同的堆叠TCN主干和全连接层；最后将多变量的时间序列输入多元时间序列预测模型中，获得最终的预测结果。本发明方法将时空注意力机制与TCN相结合相较于传统TCN取得了更高的准确率，同时提高网络计算效率相较于基于RNN的模型大大缩减了模型训练所需要的时间。
基于并行时空注意力机制 tcn 多元时间序列预测方法

[发明专利]一种用于目标情感分类的多跳注意力深度模型、方法、存储介质和终端-CN201910370891.2有效
发明人：李晓瑜;邓钰;郑德生 -专利权人：电子科技大学
申请日： 2019-05-06 - 公布日： 2021-11-02 - 主分类号： G06F16/35 文献下载
摘要：本发明公开了一种用于目标情感分类的多跳注意力深度模型、方法、存储介质和终端，在模型中，前面各跳注意力计算模块hop中使用由第一卷积操作模块产生的二维词汇组合特征matrix3，并将其注意力权值信息不断向下层传递；而在最后一跳计算之前，模型使用注意力(第一注意力计算模块)对输入的一维词汇进行加权处理(词向量加权模块)，再进行卷积操作(第二卷积操作模块)，生成参与最后注意力计算的加权二维词汇组合特征matrix4本发明的模型同时拥有了一维和二维词汇特征的注意力权值信息，使其能够充分利用注意力机制在多维特征空间中提取和学习关于目标更多的隐藏信息，以更好地预测基于不同目标的情感极性。
一种用于目标情感分类注意力深度模型方法存储介质终端