“多模态共轴”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果1144831个，建议您升级VIP下载更多相关专利

[发明专利]基于深度学习的跨模态主题相关性建模方法-CN201610099438.9有效
发明人：张玥杰;程勇;刘志鑫;金城;张涛 -专利权人：复旦大学
申请日： 2016-02-23 - 公布日： 2019-05-03 - 主分类号： G06F16/93 文献下载
摘要：本发明属于跨媒体相关性学习技术领域，具体为基于深度学习的跨模态主题相关性建模方法。本发明包括两个主要算法：基于深度词汇的多模态文档表示，融合跨模态主题相关性学习的关系主题模型建模。本发明利用深度学习技术来构造深度语义词汇和深度视觉词汇来分别描述多模态文档中的语义描述部分和图像部分。基于这样的多模态文档表示，通过构建跨模态关系主题模型来对整个多模态文档集合进行建模，从而对多模态文档的生成过程和不同模态之间的关联进行描述。本方法准确性高，适应性强。这对于在大规模多模态文档（文本加图像）基础上，考虑多模态语义信息而进行高效跨媒体信息检索具有重要的意义，能够提高检索相关性，增强用户体验，在跨媒体信息检索领域具有广泛的应用价值。
基于深度学习跨模态主题相关性建模方法

[发明专利]基于文本主驱动的学习者多模态情感分析方法及装置-CN202210776860.9在审
发明人：黄昌勤;张俊玲;李明;吴雪梅;蒋凡;涂雅欣 -专利权人：浙江师范大学
申请日： 2022-07-04 - 公布日： 2022-11-04 - 主分类号： G06V40/16 文献下载
摘要：本申请公开了一种基于文本主驱动的学习者多模态情感分析方法及装置，本申请提取在线课堂中有学生相关情感信息嵌入的多模态数据；对于文本模态的数据，利用语言表征预训练模型BERT进行特征提取；对于音频和视觉模态的数据，利用LSTM来进行特征提取；利用跨模态注意力机制融合多模态信息，输出多模态特征融合的最终结果；根据最终融合结果进行情感分析。利用对比学习技术促进单模态特征编码质量，维持任务相关的模态数据独特性，保证多模态融合结果充分学习课堂中产生的多种模态数据的独特情感信息，提升在线学习环境中学习者的参与度，从而促进教学质量。
基于文本驱动学习者多模态情感分析方法装置

[发明专利]一种基于多模态学习的材料性能预测方法及系统-CN202110807296.8有效
发明人：钱权;曾毅;韩越兴;张瑞 -专利权人：上海大学
申请日： 2021-07-16 - 公布日： 2022-08-02 - 主分类号： G16C60/00 文献下载
摘要：本发明公开了一种基于多模态学习的材料性能预测方法，包括：建立训练样本集；采用模态映射方法，将材料样本的成分参数进行模态变换，获得材料样本的灰度图像；进行多模态模型训练；采用模态映射方法，将待测材料的成分参数进行模态变换，获得待测材料的灰度图像；将待测材料的灰度图像和成分参数输入训练后的多模态模型，获得待测材料的性能参数预测结果。本发明使用了成分特征灰度图映射方案将数值模态的特征转换为灰度图像，大大增强了成分特征的表达能力，模态映射完成后的灰度图像和非成分参数组成多模态数据，使用多模态模型进行材料性能预测，大大提高了材料性能预测的准确性
一种基于多模态学习材料性能预测方法系统

[发明专利]药物分子的性质预测方法、装置、存储介质及计算机设备-CN202210231663.9在审
发明人：王俊;高鹏;孙宁;谢国彤 -专利权人：平安科技（深圳）有限公司
申请日： 2022-03-09 - 公布日： 2022-06-10 - 主分类号： G16C20/20 文献下载
摘要：其中方法包括：获取待预测的药物分子，并对药物分子的分子结构进行模态转换，得到多模态的药物分子结构，其中，多模态的药物分子结构包括药物分子序列、药物分子图、药物分子图像和药物分子指纹；通过预训练的多模态特征提取模型，对多模态的药物分子结构进行特征提取，得到多模态的药物分子特征向量；将多模态的药物分子特征向量转换为多模态的高维特征向量，并对多模态的高维特征向量进行特征融合，得到药物分子的融合特征向量；将药物分子的融合特征向量输入到预训练的药物分子性质预测模型中
药物分子性质预测方法装置存储介质计算机设备

[发明专利]多模态数据集成管理方法、装置及介质-CN202310026624.X在审
发明人：张建军;王文重;刘立峰;王麟东;刁海峰;母健康 -专利权人：珠海高凌信息科技股份有限公司
申请日： 2023-01-09 - 公布日： 2023-05-23 - 主分类号： G06F16/33 文献下载
摘要：本发明提供一种多模态数据集成管理方法、装置及介质，该多模态数据集成管理方法包括：对接入的第一多模态数据执行临时存储；对第一多模态数据执行预处理，得到第二多模态数据；对第二多模态数据执行提取，得到包括有数据特征使用可定制算法来实现文本、声音及视觉数据的统一集成，通过使用本体模型/元模型的方式统一提取文本、声音和视觉数据的元数据，并通过对象存储辅以结构化存储方式，来实现多模态的统一存储，借助元数据和对象存储技术，实现多模态数据的高可靠、高性能访问的统一管理，使得多模态数据分析效率和准确性大大提升。
多模态数据集成管理方法装置介质

[发明专利]一种基于多模态特征融合的图像像素语义分割方法及系统-CN202010775626.5有效
发明人：孙显;许光銮;张文凯;刘文杰;汪勇;李轩;张政远 -专利权人：中国科学院空天信息创新研究院
申请日： 2020-08-05 - 公布日： 2021-08-06 - 主分类号： G06K9/62 文献下载
摘要：本发明提供了一种基于多模态特征融合的图像像素语义分割方法，包括对多模态图像数据分别进行图像增强处理；基于增强处理后的多模态图像数据和预先构建的深度神经网络提取出像素级的RGB图像和深度图像，并将同模态图像中的像素级的RGB图像和深度图像进行像素级特征融合得到融合后的层级特征；采用多模态自适应机制对所述融合后的层级特征进行多模态的像素级特征融合，得到像素级的多模态融合特征；基于像素级的多模态融合特征采用预先训练好的分类器获得像素被正确分类的概率，选择像素被正确分类的概率最高值进行图像像素语义分割；本发明更好地进行多模态间互补特征的融合，提高了模型对边界对象的分割性能以及加快网络的收敛。
一种基于多模态特征融合图像像素语义分割方法系统

[发明专利]面向压缩域的视频敏感人物识别方法、系统及设备-CN202110190037.5有效
发明人：刘雨帆;李兵;胡卫明 -专利权人：中国科学院自动化研究所
申请日： 2021-02-18 - 公布日： 2021-12-21 - 主分类号： G06K9/62 文献下载
摘要：本发明包括：对待检测视频部分解码获取压缩域多模态信息，将压缩域多模态信息进行检测和校准，将校准后的压缩域人脸多模态信息通过训练好的多模态人脸识别网络获取多模态人脸特征，将多模态人脸特征与敏感人脸特征库进行比对其中，压缩域人脸多模态信息通过I分支、MV分支和Res分支分别提取不同的特征再进行多模态特征融合得到唯一的多模态人脸特征。
面向压缩视频敏感人物识别方法系统设备

[发明专利]一种面向扑翼飞行器的多模态控制系统-CN202110716226.1有效
发明人：贺威;葛慧林;邹尧;付强;孙永斌;何修宇;李擎;王靖元 -专利权人：北京科技大学
申请日： 2021-06-28 - 公布日： 2021-11-05 - 主分类号： G05D1/08 文献下载
摘要：本发明公开了一种面向扑翼飞行器的多模态控制系统，包括多模态信号同步采集模块、多模态信号处理模块以及搭载在受控扑翼飞行器上的机载扑翼飞行器控制模块；其中，多模态信号同步采集模块用于捕获操控者发出的多模态操控信号并将捕获的多模态操控信号发送至多模态信号处理模块；多模态信号处理模块用于基于多模态操控信号中的至少一种信号，生成控制指令，并将控制指令发送至机载扑翼飞行器控制模块；机载扑翼飞行器控制模块用于根据控制指令控制受控扑翼飞行器的飞行状态，使得受控扑翼飞行器按照操控者的意愿执行相应的飞行动作
一种面向飞行器多模态控制系统

[发明专利]短视频数据标签推荐方法、装置、计算机设备和存储介质-CN201911093019.4有效
发明人：王小婵;杨超;蒋斌 -专利权人：湖南大学
申请日： 2019-11-11 - 公布日： 2022-12-02 - 主分类号： G06F16/9535 文献下载
摘要：本申请涉及一种短视频数据标签推荐方法、装置、计算机设备和存储介质，通过获取多模态短视频数据，提取多模态短视频数据中的图像数据、音频数据以及文本数据；分别提取情感特征矩阵以及内容特征矩阵；通过预设情感共同空间获取情感特征矩阵对应的多模态融合情感特征向量，通过预设内容共同空间获取内容特征矩阵对应的多模态融合内容特征向量；获取预设标签语义与多模态融合情感特征向量以及多模态融合内容特征向量的匹配分数；根据匹配分数推荐标签。本申请通过融合多模态短视频数据在不同模态下的情感特征与内容特征，而后获取融合后特征与标签的匹配结果，根据匹配结果为多模态短视频数据推荐标签，可以有效为短视频推荐标签。
视频数据标签推荐方法装置计算机设备存储介质

[实用新型]一种有线无线双切换的多人多模态生理信号采集系统-CN202222599699.0有效
发明人：胥红来;窦莲莲;薛硕;王瑞涛;寇宇畅;李雪 -专利权人：博睿康科技（常州）股份有限公司
申请日： 2022-09-30 - 公布日： 2023-05-23 - 主分类号： A61B5/318 文献下载
摘要：本实用新型涉及生理信号采集技术领域，尤其涉及一种有线无线双切换的多人多模态生理信号采集系统，包括：至少两个可穿戴式多模态采集设备，用于采集生理信号；数据收发设备，每个可穿戴式多模态采集设备与数据收发设备通信连接；上位机设备，上位机设备与数据收发设备连接，采集的生理信号可经数据收发设备传输至上位机设备；以及多路多模态数据处理设备，与每个可穿戴式多模态采集设备连接，多路多模态数据处理设备还与数据收发设备连接，生理信号还可先传输至多路多模态数据处理设备，多路多模态数据处理设备将接收的生理信号经数据收发设备传输至上位机设备。本实用新型确保在不同场景下，生理信号被有效传输，且实现了多模态的生理信号采集。
一种有线无线切换多人多生理信号采集系统

[发明专利]基于多模态的用户意图车型识别方法及装置、存储介质-CN202310592053.6在审
发明人：米佳 -专利权人：蔚来软件科技（上海）有限公司
申请日： 2023-05-24 - 公布日： 2023-08-15 - 主分类号： G06V20/56 文献下载
摘要：本发明涉及多模态识别技术领域，具体提供一种基于多模态的用户意图车型识别方法及装置、存储介质，旨在解决当前无法根据汽车移动应用中留存的用户的文本、音频和视频等信息获取用户的意图车型的问题。为此目的，本发明的基于多模态的用户意图车型识别方法包括：获取待识别意图车型的用户的多模态数据；对多模态数据进行预处理，得到多模态数据分别用向量表示的数据；将所述多模态数据分别用向量表示的数据输入到预先训练好的该方法能够融合多模态数据，利用CNN‑BiLSTM神经网络从多款车型中捕获用户意向度较高的多款车型。
基于多模态用户意图车型识别方法装置存储介质

[发明专利]一种多模态预训练模型的训练方法和装置-CN202211204122.3在审
发明人：刘洋;陈驰;李鹏;孙茂松 -专利权人：清华大学
申请日： 2022-09-29 - 公布日： 2022-12-27 - 主分类号： G06K9/62 文献下载
摘要：本发明提供一种多模态预训练模型的训练方法和装置，构建包含多模态图文信息处理网络的多模态预训练模型；构建弱对齐图像‑文本数据集；其中，弱对齐图像‑文本数据集包含文本数据集、图像‑标签数据集和图像‑指代描述数据集；利用弱对齐图像‑文本数据集训练多模态预训练模型。本发明多模态图文信息处理网络可以直接处理多模态图文信息，无需外部模型辅助提取图像特征，推理能力强。同时，采用弱对齐图像‑文本数据集来训练多模态预训练模型，减轻对人工标注的图像‑文本对齐数据的依赖，避免使用对齐的大规模图像‑文本数据集来训练多模态预训练模型出现的数据开销大的问题。
一种多模态预训练模型方法装置

[发明专利]多模态信息提取方法、装置、电子设备及存储介质-CN202110093438.9有效
发明人：李宁;闫峰;卫海天 -专利权人：北京明略昭辉科技有限公司
申请日： 2021-01-25 - 公布日： 2022-03-01 - 主分类号： G06V30/413 文献下载
摘要：本申请提供一种多模态信息提取方法、装置、电子设备及存储介质，多模态信息提取方法，包括：获取待提取对象的目标图像，所述目标图像包含有图像内容及文本内容；根据所述目标图像，识别得到所述目标图像中对应的图像区域及文本区域；根据所述图像区域及所述文本区域，提取得到对应的多模态信息，所述多模态信息包括目标图像及目标文本。本申请多模态信息提取方法、装置、电子设备及存储介质，可自动地提取得到来自待提取对象的多模态信息，进而可以大大地减少多模态信息提取时的人工作业量，降低人力成本，并且，也较为适用于印刷体图文资料的多模态信息的提取
多模态信息提取方法装置电子设备存储介质

[发明专利]一种基于多模态深度学习的信号指纹识别方法-CN202011220547.4有效
发明人：钟轶 -专利权人：中国电子科技集团公司第二十九研究所
申请日： 2020-11-05 - 公布日： 2022-05-31 - 主分类号： G06K9/00 文献下载
摘要：本发明公开了一种基于多模态深度学习的信号指纹识别方法，包括以下步骤：S1、对原始信号进行多种变换域空间的特征表示，并将多种特征表示组合为信号的多模态特征；S2、根据信号的多模态特征构建面向多种信号变换域特征的多模态深度学习网络，通过对多模态深度学习网络的训练得到应用于信号指纹识别的分类器，并通过分类器进行信号指纹的识别。本发明通过利用信号原始波形数据切片，时域、频域、变换域多种特征表示，组合为信号的多模态特征；继而利用多模态深度学习模型对信号的多模态特征进行提取和分类，充分学习到信号的细微差异，最终可以有效实现对信号指纹的识别
一种基于多模态深度学习信号指纹识别方法

[发明专利]基于多方向滤波通道特征的多模态影像匹配方法及系统-CN202310215229.6有效
发明人：侯卓鲁;刘玉轩;孙钰珊;艾海滨;张力;韩晓霞;王保前 -专利权人：中国测绘科学研究院
申请日： 2023-03-08 - 公布日： 2023-07-21 - 主分类号： G06V10/74 文献下载
摘要：本发明公开了基于多方向滤波通道特征的多模态影像匹配方法及系统，通过相位一致性模型，利用多模态影像中的显著特征，提高对噪声的抵抗性和对不同模态影像的通用性，充分利用多尺度多方向Log‑Gabor的滤波值，构建了一种新的特征描述子，体现在采样点分布以及特征汇聚（指特征向量的形成方式）策略，在多模态图像匹配更鲁棒，针对多模态存在的旋转问题，设计了一种更为鲁棒的主方向估计方法，能够抵抗多模态图像的旋转问题，针对多模态存在的尺度问题，设计了一种快速鲁棒的尺度估计方法，不需要重复构建影像金字塔，能够抵抗多模态图像的尺度问题。
基于多方滤波通道特征多模态影像匹配方法系统