“多模态信息融合”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果3135035个，建议您升级VIP下载更多相关专利

[发明专利]一种基于深度张量融合的多模态地基云图识别方法-CN201910754634.9有效
发明人：刘爽;李梅;张重 -专利权人：天津师范大学
申请日： 2019-08-15 - 公布日： 2023-04-07 - 主分类号： G06V10/774 文献下载
摘要：本发明实施例公开了一种基于深度张量融合的多模态地基云图识别方法，该方法包括：对输入地基云样本进行预处理，得到深度张量融合网络输入；将该输入转移到深度张量融合网络训练模型中，训练得到深度张量融合网络；提取每个输入地基云样本的融合特征表示；训练支持向量机分类器，得到地基云分类模型；获取测试输入地基云样本的融合特征表示，输入至地基云分类模型中得到分类结果。本发明具有联合学习地基云视觉信息与多模态信息的能力，能够在张量级别上融合视觉信息与多模态信息同时保持视觉信息的空间内容，充分利用视觉信息与多模态信息的互补信息，有效挖掘两者的相关性，提取更高辨别性的融合特征
一种基于深度张量融合多模态地基云图识别方法

[发明专利]一种混合特征融合和决策融合的多模态情感识别方法-CN202110048664.5在审
发明人：刘兴旺;廣田薰;程智鹏;李文龙;戴亚平 -专利权人：北京理工大学
申请日： 2021-01-14 - 公布日： 2021-05-14 - 主分类号： G06K9/00 文献下载
摘要：一种混合特征融合和决策融合的多模态情感识别方法，属于模式识别和情感识别领域。本发明实现方法为：一、使用卷积神经网络框架构建图像情感识别网络，获取图像特征以及图像情感状态；二、使用循环神经网络框架构建文本情感识别网络，获取文本特征以及文本情感状态；三、构建多模态信息融合情感识别网络，构建主分类器用于融合图像情感状态和文本情感状态并获取主情感分类，构建辅助分类器用于融合图像特征与文本特征并获取辅助情感分类，融合主情感分类与辅助情感分类获得最终情感分类。本发明利用多模态信息间的信息互补，避免单模态信息由于信息模糊或缺失等因素导致的情感识别准确率低问题，为多模态数据融合及情感识别提供新思路。
一种混合特征融合决策多模态情感识别方法

[发明专利]基于灰度和深度信息的多层融合的多模态人脸识别装置及方法-CN201510006214.4在审
发明人：夏春秋 -专利权人：深圳市唯特视科技有限公司
申请日： 2015-01-07 - 公布日： 2015-05-06 - 主分类号： G06K9/00 文献下载
摘要：本发明公开一种基于灰度和深度信息的多层融合的多模态人脸识别装置及方法，主要包括步骤：对人脸灰度信息进行识别；对人脸深度信息进行识别；对人脸灰度信息及深度信息进行归一化，基于归一化的匹配分数，采用融合策略得到多模态融合后的匹配分数，实现多模态人脸识别。采用本发明的方案，多模态系统通过进行二维灰度信息和三维深度信息的采集，利用二维灰度信息和三维深度信息的优点，通过融合策略来克服单模态系统的某些内在弱点(如灰度图像的光照，深度图像的表情)，有效地提升了人脸识别系统的性能
基于灰度深度信息多层融合多模态人脸识别装置方法

[发明专利]一种基于深度学习的多模态医学图像融合方法-CN202210936228.6在审
发明人：方美娥;姚丹阳;温金玉 -专利权人：广州大学
申请日： 2022-08-05 - 公布日： 2022-11-01 - 主分类号： G06T7/00 文献下载
摘要：本发明公开了一种基于深度学习的多模态医学图像融合方法，属于医学图像分析领域，包括：输入三种不同模态的医学图像；其中多模态医学图像根据成像特征可分为解剖图像和功能图像，分别对解剖图像进行高、低频特征信息提取，对功能图像同时进行高、低频特征信息提取；对解剖图像的特征信息进行频域转换，得到频域特征信息；将频域特征信息与功能图像中提取的空间特征信息进行融合，基于融合结果输出融合图像。本发明通过以上技术方案，可以实现精确对应各模态精确提取特征信息的三模态医学图像融合。
一种基于深度学习多模态医学图像融合方法

[发明专利]基于多模态实体融合与对齐的社交媒体虚假信息检测方法-CN202310527271.1在审
发明人：于慧敏;毛莺池;潘祯祥;熊力;戚荣志;陈秉睿;李畅 -专利权人：河海大学
申请日： 2023-05-11 - 公布日： 2023-07-18 - 主分类号： G06V10/80 文献下载
摘要：本发明公开一种基于多模态实体融合与对齐的社交媒体多模态虚假信息检测方法，包括：1)获取社交媒体博文中的文本和图像；2)文本‑图像实体特征提取；3)文本‑图像融合实体特征提取，将文本实体特征和视觉实体特征进行多模态特征融合，提取每个文本实体特征和每个视觉实体特征融合后的融合实体特征；4)文本‑图像实体特征对齐，将文本实体特征和融合实体特征进行多模态特征对齐，计算它们之间的整体相似度；5)社交媒体博文检测，将文本实体特征与融合实体特征之间的整体相似度使用二值分类器确定社交媒体博文检测的结果本发明能够检测到更细粒度的信息，又能够结合文本信息，能够保留完整语义信息，提高虚假信息检测的准确率。
基于多模态实体融合对齐社交媒体虚假信息检测方法

[发明专利]一种融合多模态数据的极早期火灾预警系统及方法-CN201911058995.6有效
发明人：任国凤 -专利权人：忻州师范学院
申请日： 2019-10-30 - 公布日： 2022-02-15 - 主分类号： A62C37/00 文献下载
摘要：一种融合多模态数据的极早期火灾预警系统及方法，包括消防环境数据库的建立，数字信号收集处理系统，融合多模态数据分析系统和火灾报警与自动消防系统；数字信号收集处理系统用于搜集各种现场的信息，结合消防环境数据库存储的信息传递至融合多模态数据分析系统，融合多模态数据分析系统用于判定结合后的信息，融合多模态数据分析系统与火灾报警与自动消防系统相连，通过火灾报警与自动消防系统进行报警。
一种融合多模态数据早期火灾预警系统方法

[发明专利]基于GCN的方面级多模态情感分析方法-CN202310719473.6在审
发明人：王笛;田昌宁;薛洁;万波;王泉;何立火;田玉敏;罗雪梅;王义峰;赵辉 -专利权人：西安电子科技大学;中国食品发酵工业研究院有限公司
申请日： 2023-06-16 - 公布日： 2023-09-15 - 主分类号： G06F16/35 文献下载
摘要：本发明公开了一种基于GCN的方面级多模态情感分析方法，包括下述步骤：生成训练集；构建方面级多模态情感分析网络；训练方面级多模态情感分析网络；对方面级多模态情感极性进行分类。本发明构建了基于GCN的方面级多模态情感分析网络，利用图卷积神经网络将语法信息融入文本特征中，使得方面词能够关注到正确意见词所表达的情感信息，减少文本中噪声的影响。本发明将图像分割为图像块并与文本模态融合，构建用于融合模态的图卷积神经网络，融合相关联的图像信息，获取图像中与方面词相关的细粒度图像信息，减小图像中噪声信息的影响，有效提高情感分析的准确度。
基于 gcn 方面级多模态情感分析方法

[发明专利]文档理解模型的生成方法、应用方法、装置、设备及介质-CN202310095723.3在审
发明人：冯书维;詹天扬;揭展明;梁国忠 -专利权人：北京有竹居网络技术有限公司;脸萌有限公司
申请日： 2023-01-18 - 公布日： 2023-05-16 - 主分类号： G06V30/41 文献下载
摘要：该方法包括：确定用于生成文档理解模型所需的训练输入信息；控制文档理解模型对训练输入信息中文档文本信息、文档图像信息及文档布局信息进行多模态信息融合，基于融合后信息控制文档理解模型执行多模态联合训练任务，多模态联合训练任务用于对恢复掩码文本、掩码图像以及掩码布局的能力进行联合学习；依据多模态联合训练任务对文档理解模型的参数进行调整得到收敛的文档理解模型。通过利用不同模态之间关联对文档内容、文档图像以及文档布局进行联合学习，利用深层网络建模能力实现多模态深度融合，提高模型对OCR识别容错能力，提高文档理解模型输出效果。
文档理解模型生成方法应用装置设备介质

[发明专利]基于通道扩展与融合的循环胶囊网络多模态情感识别方法-CN202310567609.6在审
发明人：孙强;党鑫豪 -专利权人：西安理工大学
申请日： 2023-05-19 - 公布日： 2023-07-28 - 主分类号： G06F18/25 文献下载
摘要：本发明公开了基于通道扩展与融合的循环胶囊网络多模态情感识别方法，具体为：从每个视频样本中分别提取音频模态特征序列、视觉模态特征序列和文本模态特征序列；将特征序列逐一输入时域卷积网络中，得到包含上下文信息的模态特征序列、视觉模态特征序列和文本模态特征序列；利用多通道可变形卷积网络从上述模态特征序列中逐一学习，得到包含高层语义信息的音频模态特征序列、视觉模态特征序列和文本模态特征序列，利用构建的多模态语义胶囊融合网络获取全局信息胶囊，并输入到双向长短期记忆网络中进行压缩，最后，送入密集层中进行多模态情感分类。本发明的基于通道扩展与融合的循环胶囊网络合理有效，能够达大大提高多模态情感识别的准确率。
基于通道扩展融合循环胶囊网络多模态情感识别方法

[发明专利]基于RGB与三维骨骼的多模态交互行为识别方法-CN202110725737.X在审
发明人：李传坤;李剑;郭锦铭;韩星程;王黎明;韩焱 -专利权人：中北大学
申请日： 2021-06-29 - 公布日： 2021-10-01 - 主分类号： G06K9/00 文献下载
摘要：本发明涉及一种基于RGB与骨骼多模态的人体交互行为识别方法，首先会对视频进行预处理，提取视频中人和物体信息，然后利用多模态从全局到局部构建人与物体之间的空间关系；并利用图卷积网络提取对应的深度特征，最后在特征层和决策层融合各个模态特征，用于识别人体交互行为；本发明利用RGB信息与人体三维骨骼模态的数据，通过构建空间关系网络模型，挖掘人与物体之间的空间关系，提取人与物体之间的多模态交互信息，并建立基于多模态交互信息的融合网络，有效地融合各个模态特征，利用各个模态的优势提高交互行为识别精度。
基于 rgb 三维骨骼多模态交互行为识别方法

[发明专利]一种基于多源异构数据的智能搜索方法及系统-CN202211356086.2在审
发明人：马玉辉;郭子瑜;李学伟;肖保臣;郎公福;胡怀迪;张翠翠 -专利权人：齐鲁空天信息研究院;中国科学院空天信息创新研究院
申请日： 2022-11-01 - 公布日： 2023-05-02 - 主分类号： G06F16/48 文献下载
摘要：本发明公开了一种基于多源异构数据的智能搜索方法，包括：对多源异构数据进行数据引接和预处理；对预处理后的多源异构数据进行数据关系抽取和数据关系表示，得到多模态数据；利用动态异构图注意力嵌入机制对多模态数据进行多模态关联关系挖掘和多模态语义关联融合，并构建多模态语义图；利用异质图神经网络对多模态语义图进行跨模态知识融合，并基于跨模态知识融合的结果构建异构跨模态知识图谱；对目标对象的检索词进行主题解析和要素抽取处理，利用异构跨模态知识图谱对目标对象进行搜索，得到目标对象的多模态关联信息；根据目标对象的多模态关联信息对目标对象进行全息画像，并输出智能排序结果和目标对象的全息画像。
一种基于多源异构数据智能搜索方法系统

[发明专利]基于子空间稀疏特征融合的多模态情感识别方法及系统-CN202011019175.9有效
发明人：李树涛;马付严;孙斌 -专利权人：湖南大学
申请日： 2020-09-25 - 公布日： 2020-12-25 - 主分类号： G06K9/46 文献下载
摘要：本发明公开了一种基于子空间稀疏特征融合的多模态情感识别方法及系统，本发明方法包括获取多种模态的特征序列，并进行字级对齐和规范化处理、位置编码，然后输入对应的多分支稀疏注意力模块、分解至低维特征子空间得到低维特征，基于权重将所有低维特征在低维特征子空间进行级联，通过多分支稀疏注意力网络中训练得到融合后的多模态信息，再输入预先训练好的情感分类器，得到被识别对象当前的情感类别，所述情感分类器被预先训练建立了融合后的多模态信息本发明通过考虑时序信息之间的关联稀疏性，将多模态信息分解至多个子空间中进行融合，能够捕获模态内和模态间的上下文信息，提升了多模态情感识别的准确率。
基于空间稀疏特征融合多模态情感识别方法系统

[发明专利]基于多模态的电池内短路检测方法、系统、装置及介质-CN202311140554.7在审
发明人：李朝;丁东辉;胡始昌;肖劼;杨斌 -专利权人：杭州宇谷科技股份有限公司
申请日： 2023-09-06 - 公布日： 2023-10-13 - 主分类号： G01R31/367 文献下载
摘要：本发明公开了基于多模态的电池内短路检测方法、系统、装置及介质，包括：获取当前电池数据，采用预训练Transformer模型提取当前电池数据的图像特征和序列特征；将图像特征和序列特征进行多模态融合，得到当前多模态融合特征；采用基于电池的历史多模态融合特征预先训练好的电池数据模型，对当前多模态融合特征进行自引发型内短路检测，得到电池内短路检测结果。基于多模态数据融合的方法，通过融合不同模态的信息，丰富了电池的特征。同时，采用Transformer模型，使算法在处理少数据样本和长序列信息时具备更好的特征提取能力。
基于多模态电池短路检测方法系统装置介质

[发明专利]网络社会事件的协同关联跟踪及全局态势分析与预测系统-CN201310197129.1在审
发明人：徐常胜;张天柱 -专利权人：中国科学院自动化研究所
申请日： 2013-05-24 - 公布日： 2013-12-18 - 主分类号： G06F19/00 文献下载
摘要：本发明是一种网络社会事件的协同关联跟踪及全局态势分析与预测系统，该系统具有：信息融合单元，对网络社会事件数据的多模态特性进行融合，用于获得社会事件的多模态数据的融合信息，构建跨社会事件的多模态数据的语义描述模型；跟踪单元与信息融合单元连接，基于跨社会事件的多模态数据语义描述模型，面对包含丰富多媒体信息的网络内容，针对网络社会事件具有的跨模态属性、跨平台属性和跨时空属性，获得社会事件在各个属性上的语义关联跟踪数据
网络社会事件协同关联跟踪全局态势分析预测系统

[发明专利]基于多元素分层深度融合的轻量级多模态情感分析方法-CN202011452285.4在审
发明人：李康;孔万增;金宣妤;唐佳佳 -专利权人：杭州电子科技大学
申请日： 2020-12-10 - 公布日： 2021-03-23 - 主分类号： G06K9/62 文献下载
摘要：本发明公开了基于多元素分层深度融合的轻量级多模态情感分析方法；本发明以分层的方式建立多模态元素之间的直接相关性，可以捕获不同模态之间的短时和长时依赖性。为避免降低分辨率并保留与每个模态相对应的原始空间结构信息，在选择和强调多模态信息交互时，本发明以广播的形式应用相应的注意力权重。此外，本发明也提出了一个新的张量算子，称为Ex‑KR加法，以利用共享信息来融合多模态元素信息得到全局张量表征。这是针对当前多模态情感识别领域中大多数方法仅仅关注在局部的时序‑多模态空间中的建模，并且不能明确地学习得到所有参与模态融合的完整的表示形式等问题的有效补充。
基于多元分层深度融合轻量级多模态情感分析方法