“多模态信息融合”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果3135035个，建议您升级VIP下载更多相关专利

[发明专利]一种Transformer多模态数据特征融合方法-CN202310127072.1在审
发明人：谭晓军;王锦萍;张乐天;陈楠杰;黄佳健;王薛强 -专利权人：中山大学;广州文远知行科技有限公司
申请日： 2023-02-15 - 公布日： 2023-07-21 - 主分类号： G06V10/80 文献下载
摘要：本发明公开了一种Transformer多模态数据特征融合方法,方法包括：通过浅层空谱特征解译模块进行第一次上下文优化，根据从LiDAR数据获得的局部空间掩膜作为引导信息，从光谱信息到空间信息提取浅层多模态特征；通过中层自适应特征融合模块进行第二次上下文特征融合，使用自适应交叉Transformer融合多个数据源的CLS标记，得到协作抽象信息；根据浅层多模态特征和协作抽象信息，通过高层多阶段特征传递模块进行第三次交叉融合，得到最终全局特征融合结果。
一种 transformer 多模态数据特征融合方法

[发明专利]一种融合多特征和注意力机制的多模态情感分析方法-CN202211628659.2在审
发明人：吕学强;张乐;滕尚志;韩晶 -专利权人：北京信息科技大学
申请日： 2022-12-20 - 公布日： 2023-04-28 - 主分类号： G06F18/24 文献下载
摘要：本发明公开了一种融合多特征和注意力机制的多模态情感分析模型，该模型具体包括以下步骤：通过多模态特征提取模块获得各模态丰富的低层特征；通过自注意力机制实现对三种模态内部信息的提取，获得对应的高层特征；通过跨模态注意力机制分别实现音频‑文本和视频‑文本的交互，在空间上实现模态间信息的交互，将学习到的模态内部信息和模态间交互信息进行拼接，得到更加丰富的音频和视频融合特征；最后拼接三种模态的最终表示并传入一个软注意力模块，为三种模态分配不同的权重，通过全连接层实现多模态情感分类结果。在公开数据集CH‑SIMS上进行测试，本发明可以有效提升多模态情感分析的准确性。
一种融合特征注意力机制多模态情感分析方法

[发明专利]基于多模态数据融合的安全预警系统-CN202311126201.1在审
发明人：刘勇;吴明玖;申亮;陈继珺;王志敏;张连杰;孙士钢;徐腾;陈玉兰;陈保全;马乐斌 -专利权人：山东航天九通车联网有限公司
申请日： 2023-09-04 - 公布日： 2023-10-13 - 主分类号： G06F18/25 文献下载
摘要：本发明公开了基于多模态数据融合的安全预警系统，属于多模态数据融合技术领域，所述多模态数据融合识别模块用于获取多模态数据融合过程中的运行数据，基于运行数据对多模态数据融合过程中融合完整度进行识别，并将多模态数据融合完整度发送至服务器；所述多模态数据融合反馈模块接收服务器传送的多模态数据融合完整度好的信号，根据多模态数据融合完整度好所对应的数据得到多模态数据反馈端数据，基于多模态数据反馈端数据对多模态数据反馈端的工作状态进行识别，并将多模态数据反馈端的工作状态发送至服务器；所述多模态数据预警模块接收服务器传送的融合完整度差的异常数据信号及多模态数据反馈端工作异常的反馈信号进行预警。
基于多模态数据融合安全预警系统

[发明专利]一种多模态网络互联融合的胸部影像诊断报告自动生成方法-CN202310710730.X在审
发明人：廉敬;董子龙;石斌;刘冀钊;张家骏;张怀堃 -专利权人：兰州交通大学
申请日： 2023-06-15 - 公布日： 2023-09-19 - 主分类号： G16H15/00 文献下载
摘要：本发明提供了一种多模态网络互联融合的胸部影像诊断报告自动生成方法，涉及医疗信息领域。本发明提出了一种基于残差网络(Resnet)、注意力机制(Transformer)模块的网络、跨模态强化记忆网络(DCTMN)的多模态网络互联融合医学报告自动生成方法，关照和融通上述两个发力点，促进跨模态(医学影像和对应报告文本)信息的交互与匹配，自动生成图像与文本信息有效融合的医学影像诊断报告。
一种多模态网络融合胸部影像诊断报告自动生成方法

[发明专利]一种基于多模态数据的社交关系分析方法、系统和存储介质-CN202210971424.7在审
发明人：陈思萌;赵建强;陈诚;彭闯;张辉;韩名羲 -专利权人：厦门市美亚柏科信息股份有限公司
申请日： 2022-08-12 - 公布日： 2022-11-04 - 主分类号： G06Q50/00 文献下载
摘要：本发明提出一种基于多模态数据的社交关系分析方法，包括：S1，提取人员的社交文本和社交图像信息，分别转换为文本特征和图像特征，并统计人员亲密度，基于人员亲密度构建人员社交网络图；S2，将文本特征和图像特征输入基于transformer的多模态融合模型，获得融合特征；S3，采用Si‑SCAN图聚类算法对人员社交网络图进行分析，获得社交关系聚类结果，其中，Si‑SCAN图聚类算法通过在SCAN算法基础上引入人员亲密度和融合特征信息构建本发明基于文本、图像两个模态的信息对社交关系进行深入分析，通过多模态信息融合模型的设计，学习跨模态间的交互关系，生成多模态融合的图节点嵌入表征。
一种基于多模态数据社交关系分析方法系统存储介质

[发明专利]一种标定参数的获取方法、装置以及电子设备-CN202211595924.1在审
发明人：王辉;陆海先 -专利权人：杭州海康威视数字技术股份有限公司
申请日： 2022-12-13 - 公布日： 2023-03-21 - 主分类号： G06T7/80 文献下载
摘要：该方法包括：获取多个目标在第一模态和第二模态下的运动轨迹；将各目标在第一模态和第二模态下的运动轨迹进行粗匹配，得到各目标的运动轨迹对应的初步匹配结果；根据各目标的运动轨迹对应的初步匹配结果和时间信息，获取各目标的点对信息；根据各目标的点对信息对各目标在第一模态和第二模态下的运动轨迹进行细匹配，得到各目标的运动轨迹对应的最终匹配结果。通过本发明，解决了由于多模态设备无法及时准确地实现配准修正，造成多模态信息融合效果差的技术问题，达到了提高多模态设备实现配准修正的实时性和准确性，保证多模态信息融合的有效性的技术效果。
一种标定参数获取方法装置以及电子设备

[发明专利]一种基于深度学习的多模态人脸识别方法-CN201710122193.1有效
发明人：张浩;韩琥;山世光;陈熙霖 -专利权人：中科视拓(北京)科技有限公司
申请日： 2017-03-02 - 公布日： 2020-02-14 - 主分类号： G06K9/00 文献下载
摘要：本发明公开了一种基于深度学习的多模态人脸识别方法，包括(1)对RGB人脸图像进行人脸检测和对齐，根据模态之间的映射关系裁切制作RGB模态和其他模态的人脸数据集S0，S1，S2……；(2)设计一个多模态融合的深度卷积神经网络结构N1，并训练N1网络；(3)设计一个多模态共享的深度卷积神经网络结构N2，并训练N2网络；(4)提取特征阶段、(5)相似度计算阶段和(6)相似度融合阶段。本发明采用多模态系统，通过进行多种人脸模态数据的采集，利用多种模态信息各自的优点，通过融合策略来克服单模态系统的某些内在弱点，同时充分的利用多种模态信息，有效地提升了人脸识别系统的性能，使得人脸识别更加快捷准确
一种基于深度学习多模态人脸识别方法

[发明专利]一种基于图卷积网络的多模态情感识别方法-CN202310109218.X在审
发明人：樊春晓;林杰;李心平 -专利权人：合肥工业大学
申请日： 2023-02-14 - 公布日： 2023-06-06 - 主分类号： G06V10/80 文献下载
摘要：本发明公开了一种基于图卷积网络的多模态情感识别方法，包括步骤S1、对视频、音频和文本原始特征进行预处理，获取文本、视频和音频特征；S2、构建文本、视频和音频特征之间的话语时序关系，嵌入说话人信息，采用图卷积网络GCN融合文本模态、视频模态和音频模态中任意两模态，获得三种模态高维度融合特征；S3、进一步构建三种高维度融合特征的时序关系，对三种高维度融合特征进行图卷积网络GCN再融合提升分类的精度，通过全连接层FC本发明通过对音频、视频、文本三种模态特征进行两个阶段的图卷积网络GCN融合与训练，对多模态情感模态间特征的潜在联系进行深度融合训练，提升多模态情感识别分类精度。
一种基于图卷网络多模态情感识别方法

[发明专利]一种基于共注意的多模态融合机制检测虚假信息的方法-CN202210271617.1在审
发明人：沈慧琳;林巧民;谢强;周斌 -专利权人：南京邮电大学
申请日： 2022-03-18 - 公布日： 2022-06-24 - 主分类号： G06K9/62 文献下载
摘要：一种基于共注意的多模态融合机制检测虚假信息的方法，包括如下步骤，步骤S1.构建提取文本特征的BERT模型；步骤S2.构建提取视觉特征的R‑CNN模型；步骤S3.构建融合文本与视觉特征的共注意转换器层Co‑TRM模型；步骤S4.将融合后的特征向量输入到域分类器中，将不同信息的多模态特征映射到相同的特征空间，将文本分类为不同的事件，并删除事件特殊的特征；步骤S5.将融合后的特征向量输入到虚假信息检测器中，利用潜在的多模态特征判断信息的真假该方法利用共注意机制，通过使用随机像素采样机制来增强视觉表现的鲁棒性，改善多模态模型结构，分别加强文本特征和视觉特征的提取方法，提高了不同模态之间的信息交流，有利于提高虚假信息检测的准确性。
一种基于注意多模态融合机制检测虚假信息方法

[发明专利]基于多模态融合的社交媒体信息情感检测方法-CN202211116040.3在审
发明人：袁成武;冯星宇;徐莼;王雪岭;李淑真 -专利权人：浙江工商大学
申请日： 2022-09-14 - 公布日： 2023-01-31 - 主分类号： G06F18/25 文献下载
摘要：本发明公开了一种基于多模态融合的社交媒体信息情感检测方法，包含：从互联网平台获取信息记录，信息记录包含文本信息和图像信息；从信息记录中获取多个特征信息；对多个特征信息进行特征融合得到融合特征；根据融合特征判断信息记录的种类本发明的基于多模态融合的社交媒体信息情感检测方法，关注了信息记录的文本部分的单词与单词之间的相互关系，使得对于信息记录的情感检测更为准确。
基于多模态融合社交媒体信息情感检测方法

[发明专利]基于文本指导的层级自适应融合的多模态情感分析方法-CN202210743773.3在审
发明人：郭军军;卢婵 -专利权人：昆明理工大学
申请日： 2022-06-28 - 公布日： 2022-08-30 - 主分类号： G06F16/903 文献下载
摘要：本发明涉及基于文本指导的层级自适应融合的多模态情感分析方法，属于自然语言处理领域。发明包括：首先分别提取文本、语音、视觉三种模态特征，然后采用跨模态注意力机制以文本模态信息为指导实现两两模态之间的表征，获取文本密切相关的语音特征和视觉特征；然后采用多模态自适应门控机制使用模态相关特征对三种单模态特征进行有效筛选，获取三种模态特有特征；接着采用多模态层级融合策略综合多模态特征和模态重要信息；最后输出使用线性变换去预测情感极性。实验结果表明本发明对多模态情感分析性能的提升是有效的。
基于文本指导层级自适应融合多模态情感分析方法

[发明专利]多模态情感分析方法、系统、设备及存储介质-CN202310061480.1有效
发明人：张越一;马飞鹏;孙晓艳 -专利权人：中国科学技术大学
申请日： 2023-01-18 - 公布日： 2023-06-16 - 主分类号： G06F18/25 文献下载
摘要：本发明公开了一种多模态情感分析方法、系统、设备及存储介质，它们是一一对应的技术方案，相关技术方案中：一方面，能够更准确地提取出文本模态中和任务相关的信息，另一方面，减少了模态之间的不必要的交互，不仅减小了模型参数量，还可以获得三个模态之间的共有信息，从而获得高质量的多模态融合特征；实验表明将本发明获得的多模态融合特征应用与多模态情感分析任务时，能够获得较高的任务性能。
多模态情感分析方法系统设备存储介质

[发明专利]基于音视频记忆网络和多模态信息流对话生成方法及系统-CN202310686474.5在审
发明人：王钰;王延峰;陈哲;刘泓呈 -专利权人：上海交通大学
申请日： 2023-06-09 - 公布日： 2023-09-15 - 主分类号： G10L17/22 文献下载
摘要：本发明提供了一种基于音视频记忆网络和多模态信息流对话生成方法及系统，包括：步骤S1：对音频与视频分别进行预处理，提取模态对齐过的音频数据和视频数据的语义表征；步骤S2：利用音视频记忆网络将语言模型提取的文本语义信息与音视频信息融合，得到融合音视频信息的对话上下文信息；步骤S3：对融合音视频信息的对话上下文信息作为流信息进行建模；步骤S4：对于当前待回复的问句，对话模型结合音视频信息以自回归的方式生成每个词，生成语句回复。本发明利用音视频记忆网络的多层注意力机制来实现不同模态信息的高效融合，相较于其他融合方法能够更好地融合多模态信息。
基于视频记忆网络多模态信息对话生成方法系统

[发明专利]基于多模态信息融合的视频检测方法、装置和计算机设备-CN202310484815.0在审
发明人：郭金林;赵研承;谢毓湘 -专利权人：中国人民解放军国防科技大学
申请日： 2023-04-28 - 公布日： 2023-08-01 - 主分类号： G06V20/40 文献下载
摘要：本申请涉及一种多模态信息融合的视频检测方法、装置和计算机设备，将视频中出现的场景、公众人物、地点、实体和关键词等重要信息识别出来组成视觉文本，以及提取视觉文本特征、视频文本特征以及视觉特征、音频特征，然后先融合视觉文本特征和视频文本特征，得到新的文本特征，以此加强文本信息，同时初步实现视觉信息和文本信息的跨模态融合，接着融合该新的文本特征、以及提取的视觉特征和频特征，进一步实现视觉、音频和文本信息的跨模态融合。综上，采用本方案中的递进跨模态信息融合的视频检测方法，能够充分利用模态之间的相关性，并且充分利用多个模态信息，能够提高对虚假视频的检测精度。
基于多模态信息融合视频检测方法装置计算机设备

[发明专利]一种融合深度信息汉语多模态语料库的语音识别方法-CN201910284877.0在审
发明人：徐天一;张奕超;赵满坤;高洁;于健;于瑞国;喻梅;王丽媛 -专利权人：天津大学
申请日： 2019-04-10 - 公布日： 2019-08-06 - 主分类号： G06K9/00 文献下载
摘要：本发明公开了一种融合深度信息汉语多模态语料库的语音识别方法，包括：将深度信息融入双模态语料库中利用微软第二代Kinect多元传感器构建多模态数据同步采集系统，所述系统用于获取说话人的彩色图像和深度图像；采集小规模语料库，通过语料自动选择制作无调音节覆盖率达78％、二音子覆盖率达93.3％的音素平衡语料集；采集音频、彩色视频、深度图像、3D信息的多模态数据；对采集的多模态数据进行数据预处理并提取多模态特征，建立融合深度信息的汉语多模态语料库并进行多模态语音识别。本发明解决了国内对于多模态数据库研究方面存在着词汇量单一、音视频质量差等问题，解决传统二维图像的质量极易受到光照、说话者头部旋转、遮挡等因素的影响。
语料库深度信息多模态多模态数据语音识别深度图像采集汉语语料融合多模态数据库同步采集系统多模态特征多元传感器数据预处理覆盖率音节彩色视频彩色图像二维图像自动选择词汇量双模态音视频质量差构建音素音子遮挡光照说话融入平衡制作研究