“多源多模态”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果1645837个，建议您升级VIP下载更多相关专利

[发明专利]基于Transformer网络和超球空间学习的多模态图像处理方法及系统-CN202111451939.6有效
发明人：徐行;田加林;沈复民;申恒涛 -专利权人：电子科技大学
申请日： 2021-12-01 - 公布日： 2022-11-04 - 主分类号： G06V10/80 文献下载
摘要：本发明公开了一种基于Transformer网络和超球空间学习的多模态图像处理方法及系统，包括获取预训练的Transformer网络模型，得到教师模型；构建由教师模型和多模态融合模型组成的多分支模型；提取教师蒸馏向量和学生蒸馏向量，以及各模态图像在单位超球空间的特征及其分类概率；计算各模态的蒸馏损失、模态间中心对齐损失、模态内均匀性损失和分类损失，并由此更新多模态融合模型；采用更新后的多模态融合模型基于待检测模态的图像和待查询模态的图像生成零样本跨模态检索结果本发明能够有效提升多模态融合模型的建模和对齐多模态分布的能力，消除不同模态之间的模态差异问题，从而实现零样本跨模态检索。
基于 transformer 网络空间学习多模态图像处理方法系统

[发明专利]一种基于多模态注意力融合网络的行为识别方法及系统-CN202111458271.8在审
发明人：舒祥波;葛晓静;杨佳文;宋砚 -专利权人：南京理工大学
申请日： 2021-12-02 - 公布日： 2022-03-11 - 主分类号： G06V40/20 文献下载
摘要：本发明涉及一种基于多模态注意力融合网络的行为识别方法及系统。该方法包括利用多模态注意力融合网络中的ResNeXt101网络提取待识别的视频中的RGB特征；并利用多模态注意力融合网络中的Shift‑GCN网络提取骨骼特征；对利用多模态注意力融合网络中的模态融合网络对RGB特征和骨骼特征进行模态融合，确定模态融合后的特征；利用多模态注意力融合网络中的通道融合网络对模态融合后的特征进行通道融合，确定通道融合后的特征；对RGB特征的损失、骨骼特征的损失以及通道融合后的特征的损失进行整合，确定多模态损失，并利用多模态损失优化多模态注意力融合网络，输出行为识别结果。
一种基于多模态注意力融合网络行为识别方法系统

[发明专利]一种基于多模态超图学习的微博情感预测方法-CN201611128388.9在审
发明人：纪荣嵘;曹冬林;陈福海 -专利权人：厦门大学
申请日： 2016-12-09 - 公布日： 2017-05-31 - 主分类号： G06F17/27 文献下载
摘要：一种基于多模态超图学习的微博情感预测方法，属于多模态情感分析领域。针对在微博多通道内容上的情感预测中存在的问题，提供一种基于多模态超图学习的微博情感预测方法。包括以下步骤1)提取微博多模态特征；2)计算微博间距离；3)构建多模态超图模型；4)超图学习。更好关联不同的模态解决模态间的独立性，在微博情感预测上有比较好的效果。
一种基于多模态超图学习情感预测方法

[发明专利]图文音多模态预训练模型方法、装置、电子设备和介质-CN202310369935.6在审
发明人：刘静;何兴建;陈思涵;王卫宁;朱欣鑫 -专利权人：中国科学院自动化研究所
申请日： 2023-04-07 - 公布日： 2023-08-22 - 主分类号： G06F18/214 文献下载
摘要：本发明涉及计算机技术领域，提供一种图文音多模态预训练模型方法、装置、电子设备和介质，其中方法包括：获取训练样本的多模态信息；基于多模态信息中文本模态特征与其他模态特征之间的语义相似度，将多模态信息进行特征分组对齐，得到各模态分组并确定分组对齐损失；基于各模态分组中图、音和图音模态中的一种，对随机掩码的文本进行文本重建，并基于各组重建文本和各组样本文本确定文本重建损失；基于分组对齐损失和文本重建损失，对模型进行参数迭代，得到多模态模型。本发明提供的图文音多模态预训练模型方法、装置、电子设备和介质，能够提高多模态模型的下游任务性能和泛化性能。
图文音多模态预训练模型方法装置电子设备介质

[发明专利]一种基于多模态知识混合推理的电网故障预测方法-CN202311185551.5在审
发明人：皮俊波;齐世雄;项中明;余建明;谷炜;孙文多;周毅;郑翔;沃建栋;贺启飞;宋鹏程;黄启航;楼贤嗣;马翔;安卓阳;田庄;曹帅;王国阳;张越;孙近文;施云辉;刘艳;单连飞;张连超;刘栋 -专利权人：北京科东电力控制系统有限责任公司;国家电网有限公司;国网浙江省电力有限公司;国网电力科学研究院有限公司;国家电网有限公司华东分部;国网浙江省电力有限公司金华供电公司
申请日： 2023-09-14 - 公布日： 2023-10-20 - 主分类号： G06F18/24 文献下载
摘要：一种基于多模态知识混合推理的电网故障预测方法，方法包括：采集电网多模态原始数据信息并进行预处理以获得多模态有效数据；在多模态有效数据上添加标签形式的标注信息，将多模态有效数据中的信息与知识图谱的实体、属性和关系进行对应，以获得多模态标签数据；针对多模态标签数据的每一种模态，分别采用对应的模态模型进行格式转换和知识抽取，而后采用文本相似度算法对多模态的知识抽取结果进行融合和对齐，从而获得多模态故障推理模型；以电网运行状态、4种复杂气象和地理位置数据作为输入，基于多模态故障推理模型，采用基于分布式表示的知识推理算法推理出当前环境下的电网故障类型，得到预测结果。
一种基于多模态知识混合推理电网故障预测方法

[发明专利]基于前提的多粒度跨模态推理方法及装置-CN202310547450.1有效
发明人：艾春辉;闫旭;曹自强;曹敏;付国宏 -专利权人：苏州大学
申请日： 2023-05-16 - 公布日： 2023-08-11 - 主分类号： G06V10/98 文献下载
摘要：本发明涉及一种基于前提的多粒度跨模态推理方法及装置，方法包括：对文本前提和文本选项进行文本拼接后作为文本输入，原始图像作为图像输入；提取图像和文本对齐后的粗粒度多模态特征和细粒度多模态特征；融合粗粒度多模态特征和细粒度多模态特征，得到融合的多粒度特征；基于融合的多粒度特征得到最终的预测结果，使用粗粒度特征提取模块和细粒度特征提取模块分别提取图像和文本对齐后的粗粒度多模态特征和细粒度多模态特征。本发明能够充分利用图像模态和文本前提之间的多粒度关系，通过粗细两种粒度的对齐，模型的判别能力大大提升，显著提高了预测结果的精确性。
基于前提粒度跨模态推理方法装置

[发明专利]多模态知识图谱的实体对齐方法、装置及存储介质-CN202110686557.5有效
发明人：朱佳;黄昌勤;韩中美;李明 -专利权人：浙江师范大学
申请日： 2021-06-21 - 公布日： 2023-07-07 - 主分类号： G06F16/36 文献下载
摘要：本发明公开了一种多模态知识图谱的实体对齐方法、装置及存储介质。本发明通过获取第一多模态知识图谱和第二多模态知识图谱的数据，从中提取需要对齐的实体；然后处理所述实体的多模态数据，得到所述实体的各模态向量，根据所述各模态向量，进行早期融合以及晚期融合；接着，对早期融合的结果和晚期融合的结果进行结合，得到多模态嵌入向量；最后，根据所述多模态嵌入向量执行实体对齐。通过使用本发明中的方法，能够实现对多模态知识图谱的实体对齐，解决了多模态知识表述之间不一致的问题。本发明可广泛应用于知识图谱技术领域内。
多模态知识图谱实体对齐方法装置存储介质

[发明专利]用于从多模态源自动产生和更新知识图谱的设备和方法-CN202180003244.3在审
发明人：芦运照;林伟安;陈文财 -专利权人：香港应用科技研究院有限公司
申请日： 2021-09-01 - 公布日： 2022-04-01 - 主分类号： G06F16/36 文献下载
摘要：本发明提供一种用于从多模态源自动产生和更新知识图谱的设备和方法。所述设备包括会话解析模块，所述会话解析模块被配置成用于：利用从所述多模态源提取而产生的带标记的字词来更新动态信息字集VD；基于从所述多模态源提取的所提取的关系模式元更新静态信息字集
用于多模态源自产生更新知识图谱设备方法

[发明专利]基于多模态数据优化的低资源语音翻译方法及系统-CN202210834634.1在审
发明人：朱文博;金浩;陈建文;李艾园 -专利权人：佛山科学技术学院
申请日： 2022-07-14 - 公布日： 2022-11-08 - 主分类号： G06F40/58 文献下载
摘要：本发明公开了基于多模态数据优化的低资源语音翻译方法及系统，该方法包括：获取源语音信息与对应的转录文本信息；对源语音信息进行预处理，得到预处理后的语音信息；对预处理后的语音信息与转录文本信息进行连接时序分类损失计算通过使用本发明，能够降低不同音频和文本对应的标签采集难度并且实现在多模态下进行声学表征和文本语义表征的共同优化。本发明作为基于多模态数据优化的低资源语音翻译方法及系统，可广泛应用于语音识别技术领域。
基于多模态数据优化资源语音翻译方法系统

[发明专利]基于熵加权-多模态域对抗神经网络的调制方式识别方法-CN202111047399.5有效
发明人：李保国;徐强;王翔;黄知涛;邓文;张澄安;刘毅远;姚怡舟 -专利权人：中国人民解放军国防科技大学
申请日： 2021-09-08 - 公布日： 2022-05-31 - 主分类号： G06K9/62 文献下载
摘要：本发明涉及调制方式识别方法，特别涉及一种基于熵加权‑多模态域对抗神经网络的调制方式识别方法。本发明在域对抗神经网络的基础上引入时、频域的多模态信息，利用多模态的互补增益加强调制训练数据和测试数据的分布对齐程度，同时对所有样本施加熵权重以减小难以预测的样本在域对抗中的贡献度以提升调制方式识别性能，构建了异分布的调制信号数据集，并对源域调制数据集和神经网络模型的输入提出相应的选取原则，本发明提出的调制方式识别方法相较于传统的智能调制识别方法具有更强的泛化能力，同时构建的异分布调制信号数据集和源域调制数据集和神经网络模型的输入具有更强的实用性
基于加权多模态域对抗神经网络调制方式识别方法

[发明专利]一种基于深度交互适配网络模型的通用多模态学习方法-CN202310847953.0在审
发明人：余宙;王眺;俞俊 -专利权人：杭州电子科技大学
申请日： 2023-07-11 - 公布日： 2023-10-13 - 主分类号： G06N3/084 文献下载
摘要：本发明公开了一种基于深度交互适配网络模型的通用多模态学习方法。本发明步骤：1、获取图像单模态以及文本单模态的预训练模型，在两个预训练模型之间增设多模态适配器模块，2、分别加载图像和文本单模态模型的预训练权重参数并保持其不变，在多模态下游任务上微调训练所设计的适配器的权重参数，3、利用所微调的多模态适配器模型在多模态下游任务上进行推理部署。本发明通过为图像和文本两个单模态的预训练模型构建外部适配器网络，提取两个单模态模型的分层次特征，使用所构建的适配器进行多模态细粒度对齐融合，使单模态预训练模型可以迅速适用于多种多模态任务，并获得可与大规模多模态预训练模型相比的性能
一种基于深度交互网络模型通用多模态学习方法

[发明专利]一种基于能量频谱的风电并网系统振荡源定位系统及方法-CN201910694996.3有效
发明人：马静;赵冬;顾元沛;沈雅琦 -专利权人：华北电力大学
申请日： 2019-07-30 - 公布日： 2020-06-16 - 主分类号： F03D17/00 文献下载
摘要：本发明涉及一种基于能量频谱的风电并网系统振荡源定位系统及方法，属于风力发电系统技术领域，解决了现有针对系统受扰后激发多振荡模态的情况下难以准确定位振荡源机组的难题。获得各发电机组的动态能量随时间变化曲线；将呈上升趋势的曲线对应的发电机组作为备选机组；获取并处理备选机组中同步机组、含锁相环双馈风电机组的能量频谱和/或含虚拟惯量的双馈风电机组的类能量频谱，将主导振荡模态最大的机组作为振荡源参考机组；计算其余每一备选机组与振荡源参考机组的能量频谱相似度系数，确定振荡源机组。本发明实现了系统受扰后激发多振荡模态的情况下振荡源机组的准确定位。
一种基于能量频谱并网系统振荡定位方法

[发明专利]多模态融合的动作识别方法、装置及计算机可读存储介质-CN201810877125.0在审
发明人：刘家瑛;蒋鸿达;宋思捷;厉扬豪;郭宗明 -专利权人：北京大学;北大方正集团有限公司;北京北大方正电子有限公司
申请日： 2018-08-03 - 公布日： 2020-02-14 - 主分类号： G06K9/00 文献下载
摘要：本发明提供一种多模态融合的动作识别方法、装置及计算机可读存储介质，方法包括：通过预设的单模态待训练数据对至少一个单模态待训练模型进行训练，获得至少一个单模态神经网络模型；在任意两个所述单模态神经网络模型之间添加信息流动连接，获得多模态待训练模型；通过预设的多模态待训练数据对所述多模态待训练模型进行训练，获得多模态神经网络模型；将待识别多模态数据添加至所述多模态神经网络模型中进行识别。从而能够实现对多模态待识别设备的处理，提高神经网络模型的性能。
多模态神经网络模型单模态训练模型训练数据预设计算机可读存储介质多模态数据动作识别流动连接识别设备添加信息融合

[发明专利]一种用于机器人的输出控制方法及机器人-CN201610941223.7有效
发明人：尚小维 -专利权人：北京光年无限科技有限公司
申请日： 2016-10-25 - 公布日： 2019-08-02 - 主分类号： G05B19/04 文献下载
摘要：本发明的方法包括：输出第一多模态数据；在输出所述第一多模态数据的过程中，接收用户输入；当所述用户输入包含输出第二多模态数据的请求时，判断所述第一多模态数据与所述第二多模态数据是否可以并行输出；当所述第一多模态数据与所述第二多模态数据不能并行输出时，中断所述第一多模态数据的输出，进行所述第二多模态数据的输出。根据本发明的方法，可以在机器人连续收到多个多模块数据的输出请求时避免输出冲突以及数据堆积阻塞，有效地保证机器人在交互过程中的输出稳定性，避免交互输出错误，从而大大提高用户体验。
多模态数据输出机器人输出控制并行输出稳定性交互过程接收用户人本发明输出请求数据堆积用户体验多模块有效地阻塞中断冲突保证

[发明专利]多模态遥感影像数据检测方法及系统-CN202110408562.X有效
发明人：洪勇;罗冷坤;李江;董朝阳 -专利权人：武汉光谷信息技术股份有限公司
申请日： 2021-04-16 - 公布日： 2021-07-30 - 主分类号： G06K9/00 文献下载
摘要：本发明提供一种多模态遥感影像数据检测方法、系统、电子设备及存储介质，方法包括：分别将不同时序的多模态遥感影像数据输入多模态特征挖掘网络，输出每一个时序的多模态遥感影像数据的融合矢量特征，将多个融合矢量特征输入变化检测网络，由变化检测网络识别出不同时序的多模态遥感影像数据之间是否具有差异。本发明构建的多模态特征挖掘网络对多模态遥感影像数据的特征进行挖掘并融合，满足训练数据集的多样性、多时序性、多特征性需求，能够提高网络挖掘特征的精确性，并通过构建多模态特征挖掘网络和变化检测网络实现对不同时序的多模态遥感影像的异常状态进行检测
多模态遥感影像数据检测方法系统