“多模态超”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果1309902个，建议您升级VIP下载更多相关专利

[发明专利]一种多模态信息传输方法、装置、设备及存储介质-CN202211634179.7在审
发明人：车云飞 -专利权人：达闼科技（北京）有限公司
申请日： 2022-12-19 - 公布日： 2023-05-12 - 主分类号： G10L15/22 文献下载
摘要：本申请实施例提供一种多模态信息传输方法、装置、设备及存储介质。在该方法中，可获取待传输的目标音频和多模态描述信息，根据所述多模态描述信息在目标音频上对应的音频起止时间，对多模态描述信息进行编码得到多模态编码；将多模态编码与目标音频进行融合得到融合信息；向接收设备发送融合信息通过这种方式，对多模态编码和目标音频进行融合，可使得多模态编码和目标音频能够进行同步传输，解决了不同类型的信息在传输过程中由于时延不同从而导致相互等待的技术问题。同时，多模态编码根据多模态描述信息在目标音频上对应的音频起止时间得到，可使得被传输的目标音频与多模态编码具有信息对应性，进一步便于后续进行信息处理。
一种多模态信息传输方法装置设备存储介质

[发明专利]多模态知识图谱的质量评估方法及装置、存储介质、设备-CN202310862945.3在审
发明人：夏晓晴;李馨迟;褚洪澎 -专利权人：中国电信股份有限公司技术创新中心;中国电信股份有限公司
申请日： 2023-07-13 - 公布日： 2023-09-26 - 主分类号： G06F16/36 文献下载
摘要：本公开涉及知识图谱技术领域，提供了一种多模态知识图谱的质量评估方法、多模态知识图谱的质量评估装置、计算机存储介质、电子设备，其中，上述方法包括：在获取到用于构建多模态知识图谱的多模态数据集之后，对多模态数据集进行质量评估，得到第一评估得分；在利用多模态数据集构建多模态知识图谱的过程中，对基于多模态数据集获得的中间过程数据进行质量评估，得到第二评估得分；在获得构建好的多模态知识图谱之后，对多模态知识图谱的输出结果进行质量评估本公开能够对多模态知识图谱的构建全流程进行质量评估，便于有针对性的改进图谱质量。
多模态知识图谱质量评估方法装置存储介质设备

[发明专利]一种身份识别方法及装置-CN202011477117.0有效
发明人：郝敬松;邸德宁;朱树磊 -专利权人：浙江大华技术股份有限公司
申请日： 2020-12-15 - 公布日： 2022-04-19 - 主分类号： G06V40/16 文献下载
摘要：本发明实施例提供了一种身份识别方法及装置，其中，所述方法包括：获取包括测试对象的待识别图像；根据预先建立的特征提取模型从所述待识别图像中提取所述测试对象的多模态特征，所述多模态特征至少包括人脸特征和人体特征；将所述多模态特征与预先建立的特征注册库中的至少一个多模态特征集合中各所述多模态集合包括的模态特征进行比对，从所述至少一个多模态特征集合中确定最高比对分数对应的目标多模态集合，其中，所述至少一个多模态特征集合中各所述多模态特征集合至少融合了人脸特征和人体特征；确定所述目标多模态集合包括的目标人脸特征对应的身份信息，将所述目标人脸特征对应的身份信息确定为所述测试对象的身份信息。
一种身份识别方法装置

[发明专利]一种基于异构深度特征的多模态地基云识别方法-CN202010050031.3有效
发明人：刘爽;段林林;张重 -专利权人：天津师范大学
申请日： 2020-01-16 - 公布日： 2023-05-23 - 主分类号： G06V10/764 文献下载
摘要：本发明实施例公开了一种基于异构深度特征的多模态地基云识别方法，所述方法包括：对多模态地基云样本进行预处理，得到训练多模态地基云样本；将训练多模态地基云样本输入至异构深度特征网络训练模型中，训练得到异构深度特征网络；基于异构深度特征网络提取得到训练多模态地基云样本的异构深度特征，串联得到训练多模态地基云样本的最终特征表示；训练支持向量机分类器，得到多模态地基云分类模型；获取测试多模态地基云样本的最终特征表示，输入至多模态地基云分类模型中，得到多模态地基云识别结果。本发明利用卷积神经网络和图卷积神经网络进行特征提取，能够有效挖掘视觉信息、多模态信息以及样本间的相关性信息，提高地基云分类正确率。
一种基于深度特征多模态地基识别方法

[发明专利]一种基于模态一致性的多模态图像重建方法-CN202211579296.8在审
发明人：曹兵;毕志伟;胡清华;王清和;亓国梁;孙一铭;高毓聪;赵佳鸣;曹亚如;孙洋 -专利权人：天津大学
申请日： 2022-12-07 - 公布日： 2023-04-07 - 主分类号： G06T5/50 文献下载
摘要：本发明公布了一种基于模态一致性的多模态图像重建方法，步骤S1、构建基于生成对抗网络的多模态图像重建网络模型；步骤S2、利用多模态图像数据集训练多模态图像重建模型，该模型输入为同一对象缺失某一模态的多模态图像，通过生成器重建目标模态图像；将目标模态的真实图像和重建图像输入判别器中，训练判别器进行真假判别；将目标模态的真实图像输入判别器的分类分支，训练网络生成目标模态图像；将判别器提取的特征再输入解码器中，重建目标模态图像，构成重建约束；步骤S3、训练好的生成对抗网络作为重建网络，将同一对象缺失任一模态的多模态图像输入重建网络，输出目标模态重建图像。本发明生成的多模态图像具有更加真实和准确的细节。
一种基于一致性多模态图像重建方法

[发明专利]三维多层共烧压电陶瓷智能结构与可程控多振动模态激励方法-CN202110406287.8在审
发明人：董蜀湘;李占淼 -专利权人：北京大学
申请日： 2021-04-15 - 公布日： 2021-07-23 - 主分类号： H02N2/00 文献下载
摘要：本发明公开了一种三维多层共烧压电陶瓷智能结构与可程控多振动模态激励方法。本发明基于超材料理论和基元序构思想，设计了由(2×2×2)矩阵序构压电应变基元构成的可共烧多层压电陶瓷智能结构，利用应变基元之间的协同效应，在非谐振状态下人工构造出弯曲、伸缩、剪切、扭转或复合模态，其中一些振动模态是自然界中的压电陶瓷无法产生的在添加可编程电路后，可以进一步获得多模态切换的可程控功能。将多个压电陶瓷智能结构叠加在一起时，可获得大尺寸、高阶或复合振动模态。这种新型的多层共烧压电陶瓷智能结构突破了传统压电谐振动的局限，可以在较宽的非谐振频率范围设计和构造需要的人工模态，为未来压电器件的设计开辟了全新的方向。
三维多层压电陶瓷智能结构程控振动激励方法

[发明专利]一种面向公共安全领域的多模态数据管理方法及系统-CN202310315483.3有效
发明人：李存冰;尹萍;林杰;王金超;英杰 -专利权人：浪潮软件科技有限公司
申请日： 2023-03-29 - 公布日： 2023-07-18 - 主分类号： G06N5/02 文献下载
摘要：本发明公开一种面向公共安全领域的多模态数据管理方法及系统，涉及数据识别技术领域；基于元模型建立知识图谱进行多模态数据管理，利用流批一体化计算引擎进行多模态数据加工，建立多模态数据的向量空间，基于多模态数据的向量空间，利用哈希的无监督学习方法检索多模态数据；本发明利用深度学习、向量计算、知识图谱等技术，实现多源异构数据下海量多模态数据统一管理，基于元模型实现公共安全领域下本体模型的自定义管理，将元模型本体下同一实体的多模态数据，建立相关联的多模态向量空间，基于哈希的无监督学习快速检索方法实现多模态数据检索，从而实现公共安全领域下对管控对象在图像、文本、结构化等多模态数据里统一搜索与智能关联比对。
一种面向公共安全领域多模态数据管理方法系统

[发明专利]图文音多模态预训练模型方法、装置、电子设备和介质-CN202310369935.6在审
发明人：刘静;何兴建;陈思涵;王卫宁;朱欣鑫 -专利权人：中国科学院自动化研究所
申请日： 2023-04-07 - 公布日： 2023-08-22 - 主分类号： G06F18/214 文献下载
摘要：本发明涉及计算机技术领域，提供一种图文音多模态预训练模型方法、装置、电子设备和介质，其中方法包括：获取训练样本的多模态信息；基于多模态信息中文本模态特征与其他模态特征之间的语义相似度，将多模态信息进行特征分组对齐，得到各模态分组并确定分组对齐损失；基于各模态分组中图、音和图音模态中的一种，对随机掩码的文本进行文本重建，并基于各组重建文本和各组样本文本确定文本重建损失；基于分组对齐损失和文本重建损失，对模型进行参数迭代，得到多模态模型。本发明提供的图文音多模态预训练模型方法、装置、电子设备和介质，能够提高多模态模型的下游任务性能和泛化性能。
图文音多模态预训练模型方法装置电子设备介质

[发明专利]一种基于多模态知识混合推理的电网故障预测方法-CN202311185551.5在审
发明人：皮俊波;齐世雄;项中明;余建明;谷炜;孙文多;周毅;郑翔;沃建栋;贺启飞;宋鹏程;黄启航;楼贤嗣;马翔;安卓阳;田庄;曹帅;王国阳;张越;孙近文;施云辉;刘艳;单连飞;张连超;刘栋 -专利权人：北京科东电力控制系统有限责任公司;国家电网有限公司;国网浙江省电力有限公司;国网电力科学研究院有限公司;国家电网有限公司华东分部;国网浙江省电力有限公司金华供电公司
申请日： 2023-09-14 - 公布日： 2023-10-20 - 主分类号： G06F18/24 文献下载
摘要：一种基于多模态知识混合推理的电网故障预测方法，方法包括：采集电网多模态原始数据信息并进行预处理以获得多模态有效数据；在多模态有效数据上添加标签形式的标注信息，将多模态有效数据中的信息与知识图谱的实体、属性和关系进行对应，以获得多模态标签数据；针对多模态标签数据的每一种模态，分别采用对应的模态模型进行格式转换和知识抽取，而后采用文本相似度算法对多模态的知识抽取结果进行融合和对齐，从而获得多模态故障推理模型；以电网运行状态、4种复杂气象和地理位置数据作为输入，基于多模态故障推理模型，采用基于分布式表示的知识推理算法推理出当前环境下的电网故障类型，得到预测结果。
一种基于多模态知识混合推理电网故障预测方法

[发明专利]一种基于深度交互适配网络模型的通用多模态学习方法-CN202310847953.0在审
发明人：余宙;王眺;俞俊 -专利权人：杭州电子科技大学
申请日： 2023-07-11 - 公布日： 2023-10-13 - 主分类号： G06N3/084 文献下载
摘要：本发明公开了一种基于深度交互适配网络模型的通用多模态学习方法。本发明步骤：1、获取图像单模态以及文本单模态的预训练模型，在两个预训练模型之间增设多模态适配器模块，2、分别加载图像和文本单模态模型的预训练权重参数并保持其不变，在多模态下游任务上微调训练所设计的适配器的权重参数，3、利用所微调的多模态适配器模型在多模态下游任务上进行推理部署。本发明通过为图像和文本两个单模态的预训练模型构建外部适配器网络，提取两个单模态模型的分层次特征，使用所构建的适配器进行多模态细粒度对齐融合，使单模态预训练模型可以迅速适用于多种多模态任务，并获得可与大规模多模态预训练模型相比的性能
一种基于深度交互网络模型通用多模态学习方法

[发明专利]基于判别式多模态深度置信网多模态数据融合方法和系统-CN201410064933.7有效
发明人：王亮;谭铁牛;王威;黄岩 -专利权人：中国科学院自动化研究所
申请日： 2014-02-25 - 公布日： 2014-06-04 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种基于判别式多模态深度置信网的多模态数据融合方法，该方法包括以下步骤：建立判别式多模态深度置信网；对于多个模态数据对应的深度置信网，利用限制波尔兹曼机，获得深度置信网优化后的网络权重；采用交替优化的策略来最小化判别式多模态玻尔兹曼机的目标函数，获得优化后的玻尔兹曼机权重，得到最终的判别式多模态深度置信网模型；向深度置信网模型输入待融合的多模态数据，得到融合结果。本发明还公开了一种基于判别式多模态深度置信网的多模态数据融合系统。本发明通过在传统多模态深度置信网络中引入有监督的标签信息，判别式的挖掘不同模态数据之间的关联性，从而在大规模多模态数据分类和检索任务中可以保证较高的准确率。
基于判别式多模态深度置信网多模态数据融合方法系统

[发明专利]基于规则和路径的中医药多模态知识图谱推理方法和装置-CN202310990444.3在审
发明人：张小平;焦元周;赵玉凤;李冬梅;张润顺;顾浩;曲锦涛;瞿小龙;刘佳;周佩;潘溪水 -专利权人：中国中医科学院中医药信息研究所;北京林业大学
申请日： 2023-08-08 - 公布日： 2023-09-05 - 主分类号： G16H50/70 文献下载
摘要：本发明提供一种基于规则和路径的中医药多模态知识图谱推理方法和装置，涉及知识图谱推理技术领域，该方法包括：根据中医药多模态知识图谱中的目标规则对中医药多模态知识图谱中的目标路径进行组合，生成中医药多模态知识图谱的目标三元组；根据中医药多模态知识图谱的目标三元组、中医药多模态知识图谱中的实体图像嵌入表示、中医药多模态知识图谱中的实体描述信息嵌入表示、中医药多模态知识图谱中的实体类别嵌入表示，生成基于规则和路径的中医药多模态知识图谱推理模型；嵌入表示用于创建向量表示；根据中医药多模态知识图谱推理模型，进行中医药多模态知识的推理。本发明基于中医药多模态知识图谱推理模型可以有效的提升推理预测的准确性。
基于规则路径中医药多模态知识图谱推理方法装置

[发明专利]一种基于深度核映射网络的非对齐时序多模态情感分析方法-CN202210246289.X在审
发明人：李恒宇;薛晖 -专利权人：东南大学
申请日： 2022-03-14 - 公布日： 2022-06-14 - 主分类号： G06K9/62 文献下载
摘要：本发明公开了一种基于深度核映射网络的非对齐时序多模态情感分析的方法，包括如下步骤：1）利用深度核映射网络提取多模态数据的时序特征；2）利用DK‑Transformer模型进行多模态数据的细粒度语义对齐；3）利用双向门控循环单元融合多模态特征；4）将处理后的多模态特征输入情感分类器中，得到情感分类结果，深度核映射网络可以紧凑表示输入数据的动态特征和长程远距的时序关系，能够有效解决非对齐时序多模态情感分析问题中尚存的问题，提升了非对齐时序多模态情感分类的性能，可直接对新的多模态数据进行情感分类，有效地解决了这类问题中模态时序特征缺失、模型计算复杂的问题，提高了非对齐时序多模态情感分析的性能。
一种基于深度映射网络对齐时序多模态情感分析方法

[发明专利]应用于视频直播平台的虚拟机器人多模态交互方法和系统-CN201710551230.0有效
发明人：黄钊 -专利权人：北京光年无限科技有限公司
申请日： 2017-07-07 - 公布日： 2021-02-26 - 主分类号： G06N3/00 文献下载
摘要：本发明公开了一种应用于视频直播平台的虚拟机器人多模态交互方法，所述视频直播平台应用接入具备多模态交互能力的虚拟机器人，多模态交互方法包括以下步骤：在预设区域显示具有特定形象的虚拟机器人，进入默认直播辅助模式，实时接收直播间输入的多模态数据和多模态指令；解析所述多模态数据和所述多模态指令，利用所述虚拟机器人的所述多模态交互能力，判别并确定目标直播辅助模式；开启目标直播辅助模式，所述虚拟机器人根据目标直播辅助模式进行多模态交互及展示本发明利用直播模式转换展示多方式的多模态交互，提高用户兴趣，保持用户粘性，改善用户体验。
应用于视频直播平台虚拟机器人多模态交互方法系统

[发明专利]一种基于语义约束的Transformer多模态影像分割方法-CN202310150411.8在审
发明人：马伟;陈颖 -专利权人：北京工业大学
申请日： 2023-02-22 - 公布日： 2023-07-14 - 主分类号： G06V10/26 文献下载
摘要：本发明公开了一种基于语义约束的Transformer多模态影像分割方法，包括：将待分割影像从m个模态通过主干编码器行特征提取获得n个不同的模态特征得到对应模态的特征图；通过多模态特征交互模块去除冗余特征，并根据跨模态交互模块(CFI)产生的门控矩阵G对当前模态特征进行不同程度的加强；随后将特定模态增强特征图拼接输入到Transformer进行模态间特征融合，得到最终编码特征；最后将特征输入到Kmeans‑Transformer由于模态融合网络对多模态特征进行融合并赋予不同模态相应的权重，所以本公开实施例能够有效将有利于多序列影像分割的重要模态进行突出，同时抑制非重要模态对多模态分割的干扰，能够有效提高多模态影像分割精准度。
一种基于语义约束 transformer 多模态影像分割方法