“多模态超”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果1309902个，建议您升级VIP下载更多相关专利

[发明专利]一种深度不完备多模态数据的聚类方法及相关装置-CN202310525397.5在审
发明人：张正;何汶珏;卢光明 -专利权人：哈尔滨工业大学（深圳）
申请日： 2023-05-10 - 公布日： 2023-08-29 - 主分类号： G06V10/762 文献下载
摘要：本申请公开了一种深度不完备多模态数据的聚类方法及相关装置，方法包括获取不完备多模态数据中的各模态的原始模态数据；根据模态特点构建神经网络来提取特定表征学习架构，通过多模态聚合模型提取各原始模态数据的模态特征，针对各原始模态数据的模态特征确定各原始模态数据的隐式数据表征，基于隐式数据表征确定基准表征；基于基准表征、模态特征及隐式数据表征训练多模态聚合模型，以得到目标公共数据表征；基于目标公共数据表征采用聚类分析算法确定不完备多模态数据的目标类别簇本申请通过基于模态特征、隐式数据表征和公共表征对多模态聚合模型进行联合学习，可以避免因模态特征固定而导致无法采用最具区别性的特征的问题，从而可以有效地提升聚类精度。
一种深度完备多模态数据方法相关装置

[发明专利]可扩展的多模态层析成像系统-CN201811071494.7有效
发明人：谭超;陈睿阳;董峰 -专利权人：天津大学
申请日： 2018-09-14 - 公布日： 2021-02-19 - 主分类号： G01N33/00 文献下载
摘要：本发明涉及一种可扩展模态的层析成像系统，包括主控模块以及各个单模态层析成像模块。其中，主控模块，承担各个单模态层析成像模块间的数据通信功能，协调各个单模态层析成像模块的数据采集速度和时序；各个单模态层析成像模块，可以通过多模态通信接口与多模态控制线相连；使用所述多模态控制线连接多模态主控芯片和各个单模态层析成像模块的控制芯片，并使用多模态主控芯片，通过多模态控制线传输状态与指令信号，实现对各个单模态层析成像模块的工作时序，工作速率控制，并协调各模态间的数据通信；多模态主控芯片采用FPGA芯片，读取状态线上的电平值，根据已编制好的内部程序，通过指令线向各个模态发送开始工作指令，协调各个单模态层析成像模块工作时序。
扩展多模态层析成像系统

[发明专利]一种基于多模态超图学习的微博情感预测方法-CN201611128388.9在审
发明人：纪荣嵘;曹冬林;陈福海 -专利权人：厦门大学
申请日： 2016-12-09 - 公布日： 2017-05-31 - 主分类号： G06F17/27 文献下载
摘要：一种基于多模态超图学习的微博情感预测方法，属于多模态情感分析领域。针对在微博多通道内容上的情感预测中存在的问题，提供一种基于多模态超图学习的微博情感预测方法。包括以下步骤1)提取微博多模态特征；2)计算微博间距离；3)构建多模态超图模型；4)超图学习。更好关联不同的模态解决模态间的独立性，在微博情感预测上有比较好的效果。
一种基于多模态超图学习情感预测方法

[发明专利]一种基于多模态采集的高帧率超分辨率的提升方法-CN202211086886.7在审
发明人：张伟民;张世雄;魏文应;黎俊良;李若尘;安欣赏 -专利权人：广东博华超高清创新中心有限公司;深圳龙岗智能视听研究院
申请日： 2022-09-07 - 公布日： 2022-11-25 - 主分类号： G06T3/40 文献下载
摘要：本发明提供了一种基于多模态采集的高帧率超分辨率的提升方法，包括以下步骤：S1.采集数据；S2.获取帧数据；S3.获取事件数据；S4.滑动重建；S5.事件特征提取；S6.帧特征提取；S7.特征融合；S8.本发明方法主要采用两种模态的图像采集设备的数据进行智能融合，将低帧率、低分辨率的视频提升成为高帧率、高分辨率的视频，解决了事件相机的数据重建问题以及两种模态数据特征的融合问题。
一种基于多模态采集高帧率超分辨率提升方法

[发明专利]一种基于协同注意力的多模态情感分类方法及其应用-CN202211241308.6在审
发明人：师飘;胡敏;时雪峰;李泽中;任福继 -专利权人：合肥工业大学
申请日： 2022-10-11 - 公布日： 2022-12-30 - 主分类号： G06F16/45 文献下载
摘要：本发明公开了一种基于协同注意力的多模态情感分类方法及其应用，包括：1获取多模态人物情感视频数据集，并进行预处理；2构建基于协同注意力的跨模态调制网络，并在相关损失的监督下，获得最终的模态调制特征表达；3设计多模态门控网络，获取引导调制模态的偏移向量以及门控调制模态表达向量；4构建情感预测模块；5多模态情感的分类预测输出。本发明通过构建协同注意力模块，对文本引导的听觉特征和文本引导的视觉特征进行相关分析，促进非语言模态的情感表达，并在多模态门控网络的调整下，使得模态之间数据充分交互，符合人类对多模态情感的综合判断过程，最终提升情感判别的精度
一种基于协同注意力多模态情感分类方法及其应用

[发明专利]一种用于模态缺失场景的多模态情感识别方法及系统-CN202310840266.6在审
发明人：罗威;赖韩江;印鉴 -专利权人：中山大学
申请日： 2023-07-10 - 公布日： 2023-10-24 - 主分类号： G06F18/213 文献下载
摘要：本发明涉及情感识别技术领域，尤其涉及一种用于模态缺失场景的多模态情感识别方法及系统，包括：获取缺失情况特征和多模态联合特征；利用自注意力机制对各模态高级特征、多模态联合特征和缺失情况特征进行缺失模态特征重构，得到多模态重构特征；将重构视觉特征、重构音频特征映射到重构文本特征空间，并利用多模态门控融合机制进行两两模态间的特征融合，得到文本视觉融合特征和文本音频融合特征，以进行情感类别分类，得到情感类别预测结果本发明通过重构缺失的多模态数据以及考虑各模态之间的语义特征差异性，增强了模态缺失场景下的分类鲁棒性，提高了情感分类的准确率，在实际应用中具有良好的发展前景。
一种用于缺失场景多模态情感识别方法系统

[发明专利]基于跨模态互注意力机制的多模态文档检索方法及装置-CN202310337398.7在审
发明人：黄永峰;黄颖卓;陈泽平;何亮 -专利权人：清华大学
申请日： 2023-03-31 - 公布日： 2023-07-07 - 主分类号： G06F16/335 文献下载
摘要：本申请涉及文档检索技术领域，特别涉及一种基于跨模态互注意力机制的多模态文档检索方法及装置，其中，方法包括：建模文档的多模态表示，基于多模态互注意力机制得到目标文档感知的多模态文档表示，融合文档的自注意力向量化表示和多模态增强向量化表示，得到文档的多模态增强统一表示，计算目标文档和至少一个候选文档相关性分数并进行排序，检索到相关的文档。本申请实施例可以基于跨模态互注意力机制，通过获取文档多模态增强的统一表示，计算相关性分数以检索获得匹配文档，从而实现了文档多模态信息的充分利用，增强了文档各模态间的相关性，进而提升了文档检索结果的匹配度
基于跨模态互注意力机制多模态文档检索方法装置

[发明专利]基于多模态深度学习分类模型的模态贡献度的计算方法-CN202110563034.1在审
发明人：吴兴隆;徐国平 -专利权人：武汉工程大学
申请日： 2021-05-24 - 公布日： 2021-08-27 - 主分类号： G06K9/62 文献下载
摘要：本发明提供了一种基于多模态深度学习分类模型的模态贡献度的计算方法，包括以下步骤：基于多模态深度学习的端到端分类模型，获得该模型在对某个多模态数据样本进行推理过程中的模态特征向量；对具有相同大小的模态特征向量进行权重求和并做归一化处理，从而得到该多模态数据样本的模态贡献度。该单独样本的模态贡献度可以进一步推广到给定的多模态数据集中对全体样本进行权重累加，从而最终获得在给定数据集上的模态贡献度。
基于多模态深度学习分类模型贡献计算方法

[发明专利]一种认知障碍检测模型及其训练方法-CN202110274276.9有效
发明人：陈益强;张宇欣;谷洋;高晨龙 -专利权人：中国科学院计算技术研究所
申请日： 2021-03-15 - 公布日： 2022-08-30 - 主分类号： A61B5/00 文献下载
摘要：本发明提供一种认知障碍检测模型及其训练方法，所述认知障碍检测模型包括多模态信息表征模块、多模态信息融合模块、无监督深度聚类模块。所述多模态信息表征模块包括眼底图像数据表征网络、多模态生理信号数据表征网络。所述多模态信息融合模块与所述多模态信息表征模块相连接，用于将所述眼底图像数据的特征与多模态生理信号的特征进行融合，得到融合后的特征；所述无监督深度聚类模块与所述多模态信息融合模块相连接，用于根据所述融合后的特征基于无监督聚类模型进行认知障碍检测
一种认知障碍检测模型及其训练方法

[发明专利]一种多模态敏感信息鉴别方法、设备及介质-CN202210509975.1在审
发明人：籍焱;王兴;薄满辉;唐红武;王殿胜;王仲候;章凡寿 -专利权人：中航信移动科技有限公司
申请日： 2022-05-11 - 公布日： 2022-07-22 - 主分类号： G06V10/22 文献下载
摘要：本发明提供一种多模态敏感信息鉴别方法、设备及介质，包括：确定多模态信息包含的图像信息对应的ROI；通过多模态模型中的FasterRCNN模型提取每一ROI的视觉元素特征，通过所述多模态模型的图像编码层提取所述图像信息的图像特征，以确定图像信息特征序列；通过所述多模态模型中的BERT模型确定文本信息特征序列；将图像信息特征序列、文本信息特征序列分别嵌入到多模态模型对应的图像模态嵌入向量和文本模态嵌入向量，以确定特征组合序列；通过多模态模型的交互层对所述特征组合序列进行计算，得到鉴别特征集；通过多模态模型的分类层对所述鉴别特征集进行计算，得到所述多模态信息的鉴别结果。本发明能够对图像信息和文本信息不对应的多模态信息进行鉴别。
一种多模态敏感信息鉴别方法设备介质

[发明专利]多模态关联构建模型的训练方法和多模态数据检索方法-CN202211041378.7在审
发明人：沈颖;谢京佑 -专利权人：中山大学
申请日： 2022-08-29 - 公布日： 2022-11-29 - 主分类号： G06K9/62 文献下载
摘要：本申请公开了多模态关联构建模型的训练方法和多模态数据检索方法，通过构建多模态数据训练关联图，对不同模态下数据特征进行聚类处理从而得到的聚类损失函数值，通过将与每一模态的训练数据的数据特征与从对应的关联特征节点提取的补充特征信息进行特征融合，并计算融合后生成的每一模态的综合训练特征的特征差异，得到成对损失函数值，基于聚类损失函数值和成对损失函数值，调整所述多模态关联构建模型的参数，从而训练得到能够生成融合多模态间数据特征，生成每一模态的综合数据特征的多模态关联构建模型，并可通过融合后的综合数据特征得到多模态数据间的检索结果。相较于现有技术，本申请在进行跨模态检索时的检索结果准确度更高。
多模态关联构建模型训练方法数据检索

[发明专利]一种基于多模态预训练模型的教育资源推荐方法-CN202310097847.5在审
发明人：王海艳;唐瞻;骆健 -专利权人：南京邮电大学
申请日： 2023-02-10 - 公布日： 2023-05-02 - 主分类号： G06F16/9535 文献下载
摘要：本发明公开了一种基于多模态预训练模型的教育资源推荐方法，包括：收集用户在线学习的多模态数据，根据不同模态的数据做相应的预处理，获取文本类数据、图片类数据、音频类数据和数值类数据，分别输入多模态预训练模型的单模态接收网络，进行单模态的单独训练和多模态交叉训练，掩码预测预训练通过遮蔽一定比例的原输入对原始输入遮蔽部分进行预测，交叉对齐训练任务通过一个模态的特定特征预测另一个模态的特征。预训练的多模态模型可直接接收多模态输入，并输入长短记忆网络学习多模态表示向量，并通过全连接网络进行投影，输出结果为用户需要资源的概率，作为推荐排行依据展示给用户。
一种基于多模态预训练模型教育资源推荐方法

[发明专利]基于复式协同结构特征重组网络的多模态数据融合方法-CN202110763473.7有效
发明人：秦亮;余金沄;张敏;韩谷静;吴文炤;赵峰;许中平;秦旭弘;刘开培 -专利权人：武汉大学;国网信息通信产业集团有限公司;北京国网信通埃森哲信息技术有限公司;武汉纺织大学
申请日： 2021-07-06 - 公布日： 2022-05-17 - 主分类号： G06V10/80 文献下载
摘要：本发明提供一种基于复式协同结构特征重组网络的多模态数据融合方法。针对现有多模态数据融合技术主要是特征直接融合而忽视了模态与模态间的双向交互，存在多模态融合时特征间语义鸿沟的问题，本发明利用深度神经网络提取图像及文本单模态特征，建立基于transformer机制的图文双向交互注意力模型，挖掘图像和文本之间的特征联系，进行多模态的语义关联，并引入复式协同结构网络加深模态之间交互信息的贯通，进行多模态深层融合下的特征双向重组，实现图像与文本语义空间的对齐，更好地适应了神经网络对不同模态间互补信息的搜寻，增强模型对多模态语义的理解和泛化能力，进一步提高多模态特征网络的分类准确度。
基于复式协同结构特征重组网络多模态数据融合方法

[发明专利]视频人物检索方法、介质、装置和计算设备-CN201910899459.2有效
发明人：蔡成飞;姜波;周泽生 -专利权人：网易（杭州）网络有限公司
申请日： 2019-09-23 - 公布日： 2022-02-08 - 主分类号： G06F16/783 文献下载
摘要：本发明的实施方式提供了一种基于多模态融合的视频人物检索方法、介质、基于多模态融合的视频人物检索装置和计算设备。该方法包括：从待检索视频中提取对应于不同模态的多个单模态特征；将所述多个单模态特征融合后得到所述待检索视频的多模态融合特征；将所述多模态融合特征输入预先训练的人物分类器，以得到所述待检索视频中的目标人物该方法通过对多种单模态特征进行特征融合，可以降低单一特征的误差，得到包含多种模态特征信息的具有强鲁棒性的多模态融合特征，利用多模态融合特征进行人物分类可以大幅提升视频人物检索的效率和准确率。
视频人物检索方法介质装置计算设备

[发明专利]一种基于模态共有特征分离的软测量建模方法-CN202210498716.3在审
发明人：沈冰冰;姚乐;葛志强 -专利权人：杭州师范大学
申请日： 2022-05-09 - 公布日： 2022-08-02 - 主分类号： G06F30/20 文献下载
摘要：本发明涉及一种基于模态共有特征分离的软测量建模方法。该方法充分考虑工业过程的数据特性，通过β变分自编码器和梯度反转方法，对多模态工业过程进行模态共有特征的提取，同时利用输入生成模态独有的系数，将模态独有系统与模态共有特征相乘，用于多模态过程的软测量建模。将模态基础特征与模态独有参数相结合，用于软测量的回归建模，对关键质量变量进行估计和预报。与现有的其他方法相比，本发明可以有效地提取工业数据中多模态和非线性特征，对待测多模态输入数据进行自动的模态划分，从而利用模态共有特性和独有特性进行建模，大幅度提升软测量模型对多模态工业过程的预测精度。
一种基于共有特征分离测量建模方法