“注意力模型”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果1670109个，建议您升级VIP下载更多相关专利

[发明专利]基于深度迁移学习的视频目标识别模型及方法-CN202110568237.X有效
发明人：于来行;张冬艳;于馨悦 -专利权人：周口师范学院
申请日： 2021-05-25 - 公布日： 2022-11-15 - 主分类号： G06V20/40 文献下载
摘要：本发明提供一种基于深度迁移学习的视频目标识别模型及方法。该模型采用基于AlexNet网络的DCNN模型在ImageNet数据集上训练得到的权重参数作为所述视频目标识别模型的初始权重参数；所述视频目标识别模型的convLSTM网络中引入有注意力迁移模型；所述注意力迁移模型包括通道注意力模块和空间注意力模块；所述通道注意力模块，用于将每个二维的特征通道变成一个实数，生成表示通道之间的依赖关系的中间映射图；所述空间注意力模块，用于在通道维度的张量空间内压缩生成特征矩阵，然后通过softmax激活函数得到二维空间注意力图
基于深度迁移学习视频目标识别模型方法

[发明专利]基于迁移学习与自注意力特征融合的非侵入式负荷监测方法-CN202310533995.7在审
发明人：段红光;文淳;郑建宏;罗一静 -专利权人：重庆邮电大学
申请日： 2023-05-12 - 公布日： 2023-09-12 - 主分类号： H02J13/00 文献下载
摘要：本发明涉及基于迁移学习与自注意力特征融合的非侵入式负荷监测方法，属于智能电网领域。该方法包括以下步骤：S1：获取基于高频特征与自注意力融合的多任务神经网络模型；S2：使用基于高频特征与自注意力融合的多任务神经网络模型在源域中进行预训练；S3：冻结模型底层参数，截断自注意力特征融合模块与模型上层；S4：重构自注意力特征融合模块与模型上层，并使用少量目标域数据进行微调；S5：解冻基于高频特征与自注意力融合的多任务神经网络模型，对基于高频特征与自注意力融合的多任务神经网络模型进行整体微调。本发明降低了模型从头训练带来的计算开销与标注数据需求，提高了基于高频特征与自注意力融合的多任务神经网络模型应用的可行性。
基于迁移学习注意力特征融合侵入负荷监测方法

[发明专利]一种基于全局时空注意力模型的动作识别方法-CN201810675198.1有效
发明人：韩云;吕小英 -专利权人：内江师范学院
申请日： 2018-06-26 - 公布日： 2021-12-03 - 主分类号： G06K9/00 文献下载
摘要：本发明公开了一种基于全局时空注意力模型的动作识别方法，属于动作识别领域；首先，构建全局时空注意力模型，所述全局时空注意力模型包括依次连接的全局空间注意力模型、累加式曲线模型ALC和分类层；再利用人体动作序列对所述全局时空注意力模型依次进行训练、验证和测试；当测试效果最佳的模型精度达到设定的阈值，则完成训练并将测试效果最佳的模型作为最终模型，否则继续进行训练；最后将待检测人体动作序列输入所述最终模型进行动作识别，得出识别结果；将全局空间注意力模型、全局时间注意力模型和主干网融为一体，结构更加简单、训练更加容易、收敛速度更快，直接采用end to end的训练方式即可，无需任何额外的步骤。
一种基于全局时空注意力模型动作识别方法

[发明专利]一种注意力检测方法、装置、设备及存储介质-CN201910043884.1在审
发明人：不公告发明人 -专利权人：北京字节跳动网络技术有限公司
申请日： 2019-01-17 - 公布日： 2020-07-24 - 主分类号： A61B5/16 文献下载
摘要：本公开公开了一种注意力检测方法、装置、设备及存储介质，首先通过点读设备的摄像头采集用户的当前视频，然后解码当前视频，得到对应的视频帧，然后将对应的视频帧输入预先训练的注意力检测模型，得到注意力数值，最后根据注意力数值与注意力阈值，确定用户的注意力是否集中。本实施例提供的技术方案通过摄像头采集用户的当前视频，并解码该视频得到视频帧，将视频帧输入注意力检测模型，得到注意力数值，根据注意力数值确定用户的注意力是否集中，实现了使用摄像头采集的视频确定用户注意力是否集中，能够客观的反映用户的注意力程度，避免了家长通过观察确定儿童是否注意力集中具有主观性的问题。
一种注意力检测方法装置设备存储介质

[发明专利]一种配电终端异常检测模型的建立方法及装置-CN202210307434.0在审
发明人：杨飞;荆江平;智明;邹杰;张鹏;陆志平;程鹏;夏磊;丁安琪;刘黎;鞠玲;张泽 -专利权人：国网江苏省电力有限公司泰州供电分公司
申请日： 2022-03-25 - 公布日： 2022-06-10 - 主分类号： G06F30/27 文献下载
摘要：本发明公开了一种配电终端异常检测模型的建立方法及装置，方法包括：采集配电终端的状态数据；对所述状态数据进行预处理，获得训练集和测试集；建立基于注意力机制的自编码模型，所述基于注意力机制的自编码模型包括第一编码器、第一注意力运算层、解码器、第二注意力运算层、第二编码器以及判别器；根据所述训练集对所述基于注意力机制的自编码模型进行训练；将所述测试集输入至训练后的基于注意力机制的自编码模型进行异常检测；该方法通过在自编码模型中引入注意力机制，有效避免处理长数据时的信息丢失问题，模型性能较好。
一种配电终端异常检测模型建立方法装置

[发明专利]机器学习模型的对抗训练方法装置、电子设备和介质-CN202011488742.5有效
发明人：丁思宇;王硕寰;孙宇 -专利权人：北京百度网讯科技有限公司
申请日： 2020-12-16 - 公布日： 2023-10-17 - 主分类号： G06N20/00 文献下载
摘要：本申请公开了一种机器学习模型的对抗训练方法、装置、电子设备和介质，涉及自然语言处理NLP、深度学习领域。实现方案为：对训练样本中的输入信息中的各输入字符分别进行特征提取，得到各输入字符的特征；将各输入字符的特征输入机器学习模型，以采用模型中的注意力层对多个输入字符进行注意力权重捕获；对注意力层捕获所得到的注意力权重进行扰动，以使模型根据扰动后的注意力权重输出预测字符；根据预测字符和训练样本中的标注字符之间的差异对模型进行训练。由此，通过对注意力层输出的注意力权重进行扰动，来干扰机器学习模型的训练，从而实现模型的对抗训练。
机器学习模型对抗训练方法装置电子设备介质

[发明专利]非平行语料声音转换数据增强模型训练方法及装置-CN201910863861.5有效
发明人：俞凯;李沐阳;陈博;陈宽;吴松泽;刘知峻 -专利权人：思必驰科技股份有限公司
申请日： 2019-09-12 - 公布日： 2021-11-02 - 主分类号： G10L15/06 文献下载
摘要：本申请公开一种非平行语料声音转换数据增强模型训练方法，包括：为所述数据增强模型配置顺序连接的声学注意力层、文本注意力层和解码器模块；所述声学注意力层包括第一GRU层和第一注意力层，所述文本注意力层包括第二GRU层和第二注意力层；将样本源文本序列编码为嵌入序列；将样本目标声学特征序列输入至所述第一GRU层；将所述嵌入序列输入至所述第一注意力层和第二注意力层，以训练所述增强模型。本申请通过声学注意力层和文本注意力层保留了源语音中包含的持续时间和语言上下文，从而确保了训练得到的增强模型的准确性，能够更好的用于音频与文本之间的对齐，有助于提升语音转换的效果。
平行语料声音转换数据增强模型训练方法装置

[发明专利]一种基于时空注意力机制的目标跟踪方法-CN202110755862.5在审
发明人：后弘毅;陆保国;褚孔统 -专利权人：中国电子科技集团公司第二十八研究所
申请日： 2021-07-05 - 公布日： 2021-09-14 - 主分类号： G06T7/246 文献下载
摘要：本发明提供了一种基于时空注意力机制的目标跟踪方法，包括：构造网络模型，用于获取待跟踪目标的模板图像和待跟踪图像；构造通道注意力机制模型，将所述通道注意力机制模型融入网络模型中；构造空间注意力机制模型，将所述空间注意力机制模型融入网络模型中；依据损失函数，对融入所述通道注意力机制模型和空间注意力机制模型的网络模型进行训练；利用训练得到的网络模型，对视频中的目标进行跟踪，获得目标跟踪结果。
一种基于时空注意力机制目标跟踪方法

[发明专利]一种基于注意力特征信息的BERT模型融合方法-CN202210176600.8在审
发明人：陈珂;杨浩磊;寿黎但;胡天磊;陈刚;江大伟;骆歆远 -专利权人：浙江大学
申请日： 2022-02-25 - 公布日： 2022-06-03 - 主分类号： G06N20/20 文献下载
摘要：本发明公开了一种基于注意力特征信息的BERT模型融合方法，该方法利用每个原模型对输入文本的隐藏表示信息，来计算每个原模型的权重，然后利用每个原模型的权重信息，对原模型的注意力特征信息进行加权融合，最后利用融合后的注意力特征信息对新模型进行调整，提高新模型的表现效果。该方法可以充分利用BERT模型的注意力特征信息，提高融合后BERT模型的表现效果。相比于其他融合方法，本方法可以有效地完善融合后模型的注意力特征信息，使得融合后的模型对文本的注意力特征更加完整，进而提高融合后模型的表现效果。
一种基于注意力特征信息 bert 模型融合方法

[发明专利]基于多分支注意力金字塔结构的工业焊缝缺陷检测方法-CN202110479718.3在审
发明人：许文达;高忠科;逄文华;安扬 -专利权人：烟台市计量所;天津大学
申请日： 2021-04-30 - 公布日： 2021-08-06 - 主分类号： G06T7/00 文献下载
摘要：一种基于多分支注意力金字塔结构的工业焊缝缺陷检测方法：对射线探伤底片图像进行预处理；构建卷积神经网络，所述的卷积神经网络为多分支注意力金字塔模型，是由金字塔模型和多分支注意力模型构成，再移入通过迁移学习提取出权重而形成的多分支注意力金字塔模型；对形成的多分支注意力金字塔模型进行训练；用训练好的多分支注意力金字塔模型对需要进行检测的射线底片图像进行测试，将需要进行检测的射线底片图像进行预处理后，输入到训练好的多分支注意力金字塔模型中，多分支注意力金字塔模型的输出类别
基于分支注意力金字塔结构工业焊缝缺陷检测方法

[发明专利]H型钢表面缺陷检测方法及系统-CN202211610922.5在审
发明人：于海涛;李福龙 -专利权人：天津大学
申请日： 2022-12-12 - 公布日： 2023-05-26 - 主分类号： G06T7/00 文献下载
摘要：本申请提供一种H型钢表面缺陷检测方法及系统，属于型钢检测技术领域，检测方法包括：构建基于视觉感受野的目标区域推荐网络，并集成YOLOv3目标检测模型；利用深度可分离卷积对YOLOv3目标检测模型进行轻量化处理；构建基于视觉注意力机制的多尺度空间注意力模型和多尺度通道注意力模型，使多尺度空间注意力模型与多尺度通道注意力模型进行级联，得到基于YOLOv3目标检测模型的双重注意力模型；获取H型钢的表面图像，将表面图像输入至YOLOv3目标检测模型，经过轻量化处理及双重注意力模型处理，得到缺陷检测结果；显示缺陷检测结果、调整运行模式、且显示运行状态。
型钢表面缺陷检测方法系统

[发明专利]一种基于多尺度深度监督的反向注意力模型-CN202110266638.X在审
发明人：黄德双;吴迪;元昌安;赵仲秋;黄健斌 -专利权人：同济大学
申请日： 2021-03-11 - 公布日： 2021-06-04 - 主分类号： G06K9/00 文献下载
摘要：本发明公开了一种基于多尺度深度监督的反向注意力模型，模型包括：输入端、多尺度特征学习模块、注意力机制模块、反向注意力机制模块、深度监督模块、若干个损失函数、若干个平均池化层、若干个线性层和支路；多尺度特征学习模块用于对深度特征进行多尺度学习并进行训练；注意力机制模块用于加强对局部重要特征信息的关注；反向注意力机制模块用于将被注意力机制模块抑制的特征变为强调的特征，对注意力机制进行互补；深度监督模块用于修正注意力机制模块对重要特征关注的准确度。本发明提出了反向注意力机制模块缓解了由注意力机制引起的特征信息丢失问题，模型在测试阶段可丢弃部分模块，提高了测试效率。
一种基于尺度深度监督反向注意力模型

[发明专利]一种基于级联结构的两阶段语音唤醒方法-CN202210750178.2在审
发明人：黄乐凯;何昕 -专利权人：上海声瀚信息科技有限公司
申请日： 2022-06-28 - 公布日： 2023-06-06 - 主分类号： G10L15/06 文献下载
摘要：本发明公开了一种基于级联结构的两阶段语音唤醒方法，通过级联的方式将基于分块的在线(流式)注意力机制模型和基于整句的离线注意力机制模型结合在一起使用。其中，在线注意力机制模型的计算结果作为离线注意力机制模型的输入。
一种基于级联结构阶段语音唤醒方法

[发明专利]一种基于注意力预训练的图片问答方法-CN202211315945.3在审
发明人：刘赟;张磊磊;田鹏;李浪;闫庚龙 -专利权人：茅台学院
申请日： 2022-10-26 - 公布日： 2023-01-31 - 主分类号： G06F16/332 文献下载
摘要：本发明公开了一种基于注意力预训练的图片问答方法，该方法包括宽度注意力、深度注意力以及注意力预训练三个模块；宽度注意力模块建模问题句与不同层次的图片特征之间的特征关联，探索不同视角下的跨模态特征交互；深度注意力模块通过重复多次注意力计算，逐步细化问题相关的重要图片区域，以深入理解图片和问题间的关联信息；注意力预训练模块将标注的注意力分布图作为先验知识，对宽度和深度注意力进行监督学习，实现宽度和深度注意力的权重初始化。本发明将人工标注的注意力分布图作为先验知识指导宽度和深度注意力学习，通过预训练对相应的注意力模型进行初始化，显著地提高了模型的收敛速度和答案预测的准确性。
一种基于注意力训练图片问答方法

[发明专利]基于风格无关判别器的注意力机制多尺度图像转换方法-CN202310567199.5在审
发明人：王兴梅;李孟昊;杨东梅;张天姿;陈伟京;张越 -专利权人：哈尔滨工程大学
申请日： 2023-05-19 - 公布日： 2023-08-11 - 主分类号： G06T3/00 文献下载
摘要：本发明涉及基于风格无关判别器的注意力机制多尺度图像转换方法，包括：构建基线的多尺度图像转换模型，在基线的多尺度图像转换模型中引入注意力机制，构建基于注意力机制的多尺度图像转换模型；基于注意力机制的多尺度图像转换模型，结合风格无关判别器，构建基于风格无关判别器的注意力机制多尺度图像转换模型；获取水下图像，将水下图像输入基于风格无关判别器的注意力机制多尺度图像转换模型中，输出转换后的水下图像，完成水下图像的转换。本发明提出的基于风格无关判别器的注意力机制多尺度图像转换方法，能生成细节更丰富的水下图像，具有很好的转换效果。
基于风格无关判别注意力机制尺度图像转换方法