“多模态信息融合”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果3135035个，建议您升级VIP下载更多相关专利

[发明专利]一种基于跨模态数据融合的信息智能解析方法-CN202210814535.7有效
发明人：吴德胜;谢云昊;张一凡;赵天驰;郑晓龙 -专利权人：中国科学院大学
申请日： 2022-07-12 - 公布日： 2023-03-10 - 主分类号： G06F21/60 文献下载
摘要：本发明公开一种基于跨模态数据融合的信息智能解析方法，包括步骤一、信息多模态数据的获取，步骤二、多模态数据的处理，步骤三、数据特征融合，步骤四、解析模型的建立和训练，步骤五、跨模态融合数据的解析，步骤六、解析数据的查看；本发明通过解析后数据的保密传输增加了数据的安全性，避免出现重要数据泄露和丢失的现象，且对不同模态数据的处理和融合，使得相同事物的信息交流数据得到统一化，方便了人们的认知和判断，同时无需格式转换也方便了不同部门对事物的数据交流，进一步加速了智慧城市的信息数据交流的发展。
一种基于跨模态数据融合信息智能解析方法

[发明专利]一种视频处理方法、装置、电子设备及可读存储介质-CN202110000695.3在审
发明人：张聪 -专利权人：中国移动通信有限公司研究院;中国移动通信集团有限公司
申请日： 2021-01-04 - 公布日： 2022-07-19 - 主分类号： G06F16/783 文献下载
摘要：本发明提供一种视频处理方法、装置、电子设备及可读存储介质，该方法包括：获取视频数据的多模态数据特征；确定数据特征中每个模态数据特征的权重；根据每个模态数据特征的权重，对多模态数据特征进行加权融合处理，获得视频向量本申请通过获取视频数据的多模态数据特征，根据多模态数据特征的权重对多模态数据特征加权融合处理，获得视频向量；所述视频向量考虑了不同模态数据特征对视频准确表示的影响程度，针对不同模态信息在不同视频中对视频表示的贡献度不同的情况，对多模态数据特征进行加权融合，能够使根据用户行为向量确定的推荐结果更准确。
一种视频处理方法装置电子设备可读存储介质

[发明专利]一种数据处理方法、装置及电子设备-CN202310378785.5在审
发明人：吴秉哲 -专利权人：腾讯科技（深圳）有限公司
申请日： 2023-03-30 - 公布日： 2023-10-27 - 主分类号： G06F16/33 文献下载
摘要：本申请实施例获取目标对象输入的多模态数据，并将多模态数据输入已训练的自然语言大模型；基于已训练的自然语言大模型执行以下操作：对多模态数据进行特征提取，获得多模态数据的元素特征和位置特征；将多模态数据对应的元素特征和位置特征融合，获得融合特征；基于融合特征，获得多模态数据的多模态数据类别以及多模态数据类别对应的置信度；其中，置信度用于表征对应的分类结果的准确程度；根据多模态数据类别以及置信度，向目标对象呈现相应的反馈信息。
一种数据处理方法装置电子设备

[发明专利]基于多模态的深度学习预测方法、系统、介质及设备-CN202010098684.9有效
发明人：钱晓华;陈夏晗 -专利权人：上海交通大学
申请日： 2020-02-18 - 公布日： 2023-09-08 - 主分类号： G06V10/764 文献下载
摘要：本发明提供一种基于多模态的深度学习预测方法、系统、介质及设备，所述基于多模态的深度学习预测方法包括：获取图像数据集，所述图像数据集包括至少两个模态的图像数据；将所述图像数据进行特征提取，以生成与每个模态对应的特征提取结果；结合预设的约束项对所述特征提取结果进行融合并分类预测。本发明设计了多模态的网络结构，对于每一个模态的图像，分别使用卷积神经网络进行特征提取，然后结合约束项在全连接层将这些特征进行融合，综合不同模态的特征信息，得到最终的分类结果。这样既保留了单个模态的信息特点又可以综合利用多模态的信息，提高了最终决策的可靠性。
基于多模态深度学习预测方法系统介质设备

[发明专利]基于多通道自编码器的多模态词汇表示方法与系统-CN201810178559.1有效
发明人：王少楠;张家俊;宗成庆 -专利权人：中国科学院自动化研究所
申请日： 2018-03-05 - 公布日： 2020-12-15 - 主分类号： G06F16/9032 文献下载
摘要：本发明涉及自然语言处理领域，具体涉及一种基于多通道自编码器的多模态词汇表示方法与系统，目的在于提高表示结果的准确性。本发明的词汇表示方法，先通过向量数据库查询待表示词汇的文本模态向量、视觉模态向量、音频模态向量；对于没有视觉模态和音频模态的词汇，利用训练好的映射模型去预测缺失的视觉向量以及听觉向量；再计算上述三种向量与对应模态权重的点积；最后将上述加权后的向量作为多通道自编码器模型的输入，对三种模态的信息进行融合，得到多模态的词汇表示向量。本发明利用不同模态间的相关性，融合不同模态的信息，并引入模态权重，有效提高了词汇表示的准确度。为了对不同模态进行更好的融合，还加入了联想词汇预测模块。
基于通道编码器多模态词汇表示方法系统

[发明专利]一种基于多模态监督对比学习的头颈癌局部复发信息获取方法-CN202210894034.4在审
发明人：王蓉芳;郭瑾坤;牟钊汕;缑水平;郝红侠 -专利权人：西安电子科技大学
申请日： 2022-07-27 - 公布日： 2022-11-01 - 主分类号： G06T7/00 文献下载
摘要：一种基于多模态监督对比学习的头颈癌局部复发信息获取方法，具体包括：样本集划分及图像预处理、多视图数据增强、构建基于多模态监督对比学习的图像编码网络、训练构建的编码网络、视图池化融合图像编码、将临床数据按照基于属性的混合编码策略进行编码、构建基于多模态解耦双线性池化融合的分类器网络、对构建的分类器网络进行训练；本发明在原始对比学习方法的基础上增加了多模态的结构，共同优化模态内和模态间的对比损失，同时加入了标签信息，使用解耦双线性池化方式分别融合提取到的图像特征
一种基于多模态监督对比学习头颈局部复发信息获取方法

[发明专利]知识库获取方法、装置、计算机设备及存储介质-CN202110776956.0有效
发明人：王雪初;李鑫;吴云飞;刘银松 -专利权人：腾讯科技（深圳）有限公司
申请日： 2021-07-09 - 公布日： 2021-11-02 - 主分类号： G06F16/335 文献下载
摘要：所述方法包括：对信息资源的至少两种模态数据进行特征提取，得到至少两个模态特征；对所述至少两个模态特征进行融合，得到至少一个模态融合特征；对所述至少一个模态融合特征进行信息抽取，得到至少一条知识片信息；基于所述信息资源的至少一条知识片信息上述技术方案，通过对信息资源的至少两种模态数据进行特征提取，扩大了知识来源的渠道，再通过对提取到的模态特征进行融合，然后对融合得到的模态融合特征进行信息抽取，能够挖掘多模态的知识之间的内容关联，从而能够更为精准的实现知识库的获取
知识库获取方法装置计算机设备存储介质

[发明专利]视频表征模型的训练方法及训练装置-CN202110799842.8在审
发明人：林和政;吴翔宇 -专利权人：北京达佳互联信息技术有限公司
申请日： 2021-07-15 - 公布日： 2021-09-03 - 主分类号： G06K9/00 文献下载
摘要：本公开关于一种视频表征模型的训练方法，包括：获取训练视频、训练视频的关于主要任务的标注数据和关于辅助任务的标注数据；从训练视频获取多种模态信息；将多种模态信息分别输入到对应的特征提取模型中，提取出多种模态信息的特征；将多种模态信息的特征输入到特征融合模型中，得到多模态融合特征；将多模态融合特征输入到主要任务模型中，得到主要任务预测数据；将由多个特征提取模型提取出的多种模态信息的特征中与辅助任务相关的一种模态信息的特征输入到辅助任务模型中
视频表征模型训练方法装置

[发明专利]一种深度自适应多模态哈希检索方法及相关设备-CN202210284064.3在审
发明人：张正;安峻枫;卢光明 -专利权人：哈尔滨工业大学（深圳）
申请日： 2022-03-22 - 公布日： 2022-07-01 - 主分类号： G06F16/41 文献下载
摘要：本发明公开了深度自适应多模态哈希检索方法及相关设备，本发明提供的方法，在面向多模态数据的哈希学习过程中先根据每一个模态数据的物理特性和特质，设计各自模态数据的特征学习网络，根据每次投入学习的训练样本中各个模态对最终共有特征的性能所做贡献大小，对每一个模态特征确定可学习的权重，根据权重来对各个模态的特征进行融合，实现了根据训练样本自身特性完成自适应权重的信息融合；使融合后的共有特征与哈希码的差异最小化，此过程加入从预设标签中提取的可伸缩语义特征，对哈希函数的参数进行自动更新，实现了特征空间与哈希空间的对齐，使用标签语义信息监督参数更新，能够提升多模态特征自适应融合能力和哈希学习的判别性表征能力。
一种深度自适应多模态哈希检索方法相关设备

[发明专利]一种基于多模态类脑主动感知的边缘计算装置-CN202310470881.2在审
发明人：朱忠攀;陈明初;何斌;李刚;陆萍;王志鹏;周艳敏;张朋朋 -专利权人：同济大学
申请日： 2023-04-27 - 公布日： 2023-08-04 - 主分类号： G06N3/065 文献下载
摘要：本发明涉及一种基于多模态类脑主动感知的边缘计算装置，包括：感知神经元模块，用于获取不同模态的感知信息，并将所述感知信息预处理编码为具有设定格式的脉冲序列；传递神经模块，用于对不同模态的所述脉冲序列进行并行存储和处理，提取相应模态的特征向量；类脑多模处理模块，用于对不同模态的所述特征向量进行选择调配，并进行信息融合与场景理解处理，获取决策信息。与现有技术相比，本发明具有运算效率高、多模信息融合准确性高等优点，进而实现更加可靠的场景理解。
一种基于多模态类脑主动感知边缘计算装置

[发明专利]目标检测方法、装置、设备及存储介质-CN202210962461.1在审
发明人：乐然;韩旭 -专利权人：广州文远知行科技有限公司
申请日： 2022-08-11 - 公布日： 2022-12-02 - 主分类号： G06V20/56 文献下载
摘要：所述目标检测方法包括：对至少一个相机拍摄的原始图像进行目标检测，得到多个初始检测信息；获取多模态的特征数据，并对多模态的特征数据进行鸟瞰图的特征融合，得到融合鸟瞰特征信息，多模态的特征数据包括多个数据采集装置的特征数据和/或多种特征提取方式获得的特征数据；通过融合鸟瞰特征信息对多个初始检测信息进行去重，得到至少一个目标检测信息。
目标检测方法装置设备存储介质

[发明专利]基于Transformer的孪生多模态目标跟踪方法-CN202211376018.2有效
发明人：王辉;韩星宇;范自柱;杨辉 -专利权人：华东交通大学
申请日： 2022-11-04 - 公布日： 2023-02-07 - 主分类号： G06T7/246 文献下载
摘要：本发明提出一种基于Transformer的孪生多模态目标跟踪方法，获取场景中的RGB图像信息和热力图像信息；通过预训练的ResNet网络提取不同模态的高级特征，同时基于孪生网络的跨模态特征融合网络以获得不同模态的共同特征；然后将对应模态的高级特征输入到针对多模态设计的Transformer模块中进行跨模态信息融合，再输入到基于全连接卷积神经网络的回归网络中进行最终检测框的回归，在此过程中产生的误差将会反向传播到前序各个网络中，根据最终权重网络构建目标跟踪网络，以对多模态情况下的目标进行跟踪。本发明可准确预测物体在各模态的位置信息，提高目标跟踪与定位准确度，可广泛应用于多种场景。
基于 transformer 孪生多模态目标跟踪方法

[发明专利]一种基于多模态特征融合的证照分类方法及系统-CN202210757445.9在审
发明人：金耀辉;邱健;王晴晴 -专利权人：上海交通大学
申请日： 2022-06-29 - 公布日： 2022-09-27 - 主分类号： G06V10/764 文献下载
摘要：本发明提供了一种基于多模态特征融合的证照分类方法及系统，该方法充分考虑证照图像含有视觉特征、文本语义特征、文本位置特征等多模态信息的特点，充分利用多模态信息，以及各个模态之间的相互关系，通过构建卷积神经网络提取视觉特征，转化成视觉特征向量；根据证照中独特的文本信息训练语言模型，将证照图像中的文本转化为文本信息向量，对得到的视觉特征向量和文本信息向量进行多模态融合，既能保留原始单模态视觉特征和文本信息，同时也能利用两种模态之间的相互作用本发明不仅考虑证照图像的视觉特征，同时充分考虑文本信息，以及两者之间的相互关系，从而使得分类结果达到较高的分类准确度和更细粒度的类别划分。
一种基于多模态特征融合证照分类方法系统

[发明专利]多模态搜索方法、装置、设备、存储介质以及程序产品-CN202110942073.2在审
发明人：张馨;黄洁 -专利权人：百度在线网络技术（北京）有限公司
申请日： 2021-08-17 - 公布日： 2021-11-16 - 主分类号： G06F16/33 文献下载
摘要：本公开提供了一种多模态搜索方法、装置、设备、存储介质以及程序产品，涉及人工智能领域，尤其是深度学习技术领域。该方法的一具体实施方式包括：接收终端设备采集的至少两种模态的搜索信息，其中，模态包括以下至少一种：文本、语音、视觉、手势和触控；将至少两种模态的搜索信息合成多模态搜索信息；基于多模态搜索信息进行搜索，得到多模态搜索结果；将多模态搜索结果发送给终端设备。该实施方式打破模态限制，通过融合至少两种模态的搜索信息，建立实时、同步的多模态搜索，实现更接近真人交互的智能搜索。
多模态搜索方法装置设备存储介质以及程序产品

[发明专利]基于多模态融合的手势识别方法、装置、设备及介质-CN202011509113.6在审
发明人：张忠平;肖益珊;王永斌;刘廉如;季文翀;曾汉;温振山;黄永;郑涛 -专利权人：宜通世纪物联网研究院（广州）有限公司
申请日： 2020-12-18 - 公布日： 2021-03-16 - 主分类号： G06K9/00 文献下载
摘要：本发明公开了基于多模态融合的手势识别方法、装置、设备及介质，方法包括：获取多模态数据；对多模态数据进行预处理，提取不同模态的特征；根据不同模态的特征，通过模型正则化方法确定目标模型中融合层的神经元与各个模态之间的第一关联度；根据不同模态的特征，通过注意力机制学习不同模态之间的第二关联度；根据第一关联度和第二关联度，确定不同模态的融合结果；根据融合结果进行模型训练，得到目标模型；通过目标模型对待识别图像进行识别，确定手势类别本发明实现了多模态信息细致的自动融合，不仅充分利用模态之间的关联，还抑制模态之间的噪声干扰，提高了模型的检测精度以及手势识别的准确率，可广泛应用于人工智能技术领域。
基于多模态融合手势识别方法装置设备介质