“多模态超”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果1309902个，建议您升级VIP下载更多相关专利

[发明专利]一种解决特征中和效应的多模态虚假新闻检测方法及装置-CN202310563249.2在审
发明人：李熙铭;王兵;李长春 -专利权人：吉林大学
申请日： 2023-05-18 - 公布日： 2023-08-29 - 主分类号： G06V20/40 文献下载
摘要：本发明提供一种解决特征中和效应的多模态虚假新闻检测方法及装置，所述方法包括：对于多模态虚假新闻检测任务，给定训练数据集；所述训练数据集包括多组图像模态和文本模态的内容；使用深度学习模型对图像模态和文本模态的内容进行特征提取，并映射到同一特征空间，得到每组中图像模态和文本模态的深层特征，形成特征对；获取两个模态对应的单模态真实性预测结果；对于每个特征对，结合单模态真实性预测结果，将特征对融合为一个多模态特征；对多模态特征的真实性进行预测本发明能够解决多模态特征融合导致的中和效应问题，提高虚假新闻检测的准确率。
一种解决特征中和效应多模态虚假新闻检测方法装置

[发明专利]多模态信息处理方法、装置、设备及存储介质-CN202010928220.6在审
发明人：柴琛林;李航 -专利权人：北京字节跳动网络技术有限公司
申请日： 2020-09-07 - 公布日： 2020-12-29 - 主分类号： G06F16/33 文献下载
摘要：本申请实施例提供一种多模态信息处理方法、装置、设备及存储介质。该方法包括：获取至少一种第一模态信息；根据至少一种第一模态信息，确定至少一种第一模态信息对应的多模态信息；输出多模态信息。从而可以满足用户需求，也可以提高该多模态信息处理方法的适用性。
多模态信息处理方法装置设备存储介质

[发明专利]一种近红外图像指导的跨模态立体图像超分辨率重构方法-CN202210380855.6在审
发明人：颜波;马晨曦;谭伟敏;周诗力 -专利权人：复旦大学
申请日： 2022-04-10 - 公布日： 2022-07-22 - 主分类号： G06T3/40 文献下载
摘要：本发明属于图像编辑技术领域，具体为一种近红外图像指导的跨模态立体图像超分辨率重构方法。本发明包括：采用跨视角匹配模块提取立体图像不同模态的左右图间的视差，再根据视差将右视角的近红外图像对齐到左视角；图像超分辨率重构网络采用两个网络分支分别提取立体图像左右图的特征；采用跨模态特征迁移模块融合左右图特征；在重构立体图像左视角的可见光模态的图像时，利用该可见光模态的图像空间信息，结合对应右视角的近红外图像包含的丰富细节来辅助左图的超分过程，从而生成更多的图像中的高频细节纹理、恢复出更真实的高分辨率图像。实验结果表明，本发明可以有效提高可见光模态图像的分辨率、提升图像的主观视觉效果以及客观准确度。
一种红外图像指导跨模态立体分辨率方法

[发明专利]基于多模态交互和时间语义聚合的视频描述方法及系统-CN202211174007.6在审
发明人：常发亮;李敏;刘春生;王彬;常致富 -专利权人：山东大学
申请日： 2022-09-26 - 公布日： 2022-12-23 - 主分类号： G06V20/40 文献下载
摘要：本发明公开了基于多模态交互和时间语义聚合的视频描述方法及系统；其中所述方法，包括：获取待描述的视频；从待描述视频中提取多模态特征；所述多模态特征，包括：外观特征、运动特征和对象特征；从多模态特征中提取语义特征；将提取的多模态特征和语义特征，均输入到训练后的视频描述网络中，输出视频的自然语言描述结果；所述训练后的视频描述网络是基于多模态信息交互和时间语义聚合的视频描述网络；其中，训练后的视频描述网络，其工作原理包括：采用多模态交互模块，将运动特征和对象特征分别集成到外观特征中，形成多模态交互特征；采用带有时间语义聚合的层级解码器，对语义特征和多模态交互特征进行处理，生成视频描述语言。
基于多模态交互时间语义聚合视频描述方法系统

[发明专利]一种面向多模态脑肿瘤MRI图像的交互式分割方法-CN202310066673.6在审
发明人：张雪松;李凯旭 -专利权人：大连交通大学
申请日： 2023-02-01 - 公布日： 2023-06-02 - 主分类号： G06T7/10 文献下载
摘要：本发明公开了一种面向多模态脑肿瘤MRI图像的交互式分割方法，包括：对多模态脑肿瘤MRI图像集进行预处理，获取处理后的多模态脑肿瘤MRI图像集；获取增强的多模态脑肿瘤MRI图像集；建立Vnet_CBAM深度神经网络模型；根据初始多模态脑肿瘤MRI图像分割集、增强的多模态脑肿瘤MRI图像集、前景测地线距离图集、背景测地线距离图集，获取多模态脑肿瘤MRI图像分割集；对所述多模态脑肿瘤MRI图像分割集进行评价。本发明通过分两个阶段通过Vnet_CBAM深度神经网络模型进行预测，使得模型自动分割的结果能够修正分割不完善或错误的区域，并且最大限度的保留了原始多模态脑肿瘤MRI图中的特征。
一种面向多模态脑肿瘤 mri 图像交互式分割方法

[发明专利]多媒体信息审核方法、广告审核方法、设备及存储介质-CN202211652489.1在审
发明人：陈佳榕;牛也 -专利权人：阿里云计算有限公司
申请日： 2022-12-21 - 公布日： 2023-03-21 - 主分类号： H04N21/266 文献下载
摘要：本申请提供一种多媒体信息审核方法、广告审核方法、设备及存储介质，该多媒体信息审核方法包括：获取多媒体信息；基于预先训练的多模态模型，对所述多媒体信息中的元素进行审核，得到所述多媒体信息的审核结果；其中，当所述多媒体信息的类型为多模态类型，所述审核结果表示审核未通过时，所述审核结果包括多模态审核结果，所述多模态类型用于指示所述多媒体信息包括至少两种多媒体类型，所述多模态审核结果用于指示所述多媒体信息中不合规的多模态元素，所述多模态元素为包括至少两种多媒体类型的元素。基于多模态模型有效识别了多模态下违规的元素，提高了多媒体信息审核的全面性和准确度。
多媒体信息审核方法广告设备存储介质

[发明专利]多模态搜索方法、装置、存储介质和设备-CN202310090103.0在审
发明人：杨娟;杨再飞;翟士丹;胡蓉 -专利权人：北京海致星图科技有限公司
申请日： 2023-02-09 - 公布日： 2023-08-22 - 主分类号： G06F16/903 文献下载
摘要：本发明提供一种多模态搜索方法、装置、存储介质和设备，所述方法包括：分别从多模态数据和待查询数据中提取深语义表征向量和浅语义表征内容，计算待查询数据的深语义表征向量与多模态数据的深语义表征向量的第一相似度，获得第一预设数目个多模态数据，计算待查询数据浅语义表征内容与多模态数据的浅语义表征内容的第二相似度，获得第二预设数目个多模态数据，将第一预设数目个多模态数据和第二预设数目个多模态数据组合后获得召回数据，提取召回数据的特征后输入特征组合模型，输出匹配得分，根据匹配得分获得多模态搜索结果。本发明能够针对待查询内容从多模态数据中一次性找到相应内容，搜索速度快且搜索准确率高。
多模态搜索方法装置存储介质设备

[发明专利]基于多模态智能机器人的交互身份鉴别与跟踪方法及系统-CN201711110949.7有效
发明人：刘扬;李佩琛;邵阳雪 -专利权人：河南大学
申请日： 2017-11-13 - 公布日： 2021-03-30 - 主分类号： G06K9/00 文献下载
摘要：本发明属于智能机器人领域，具体涉及用于智能对话机器人的多模态的鉴别和跟踪交互者身份的方法，尤其涉及基于多模态智能机器人的交互身份鉴别与跟踪方法及系统。基于多模态智能机器人的交互身份鉴别与跟踪方法，包括：采集交互对象的多通道信息；采用深度神经网络提取激活特征，构成多通道交互信息的多模态特征；采用跨模态概率认知的集成学习，对人脸图像特征和声纹特征进行身份鉴别；对由跨模态属性鉴别出的交互者身份进行注册和跟踪。基于多模态智能机器人的交互身份鉴别与跟踪系统，包括：多通道信息采集模块；多模态特征提取模块；跨模态身份鉴别模块；交互对象注册跟踪模块。本发明可解决单模态信息缺失，无法识别和跟踪交互身份问题。
基于多模态智能机器人交互身份鉴别跟踪方法系统

[发明专利]用于语音识别的多模态数据融合方法、装置、设备及介质-CN202310029724.8有效
发明人：李祯其;胡尧;温志庆 -专利权人：季华实验室
申请日： 2023-01-09 - 公布日： 2023-06-02 - 主分类号： G10L15/02 文献下载
摘要：本发明涉及语音识别技术领域，具体公开了一种用于语音识别的多模态数据融合方法、装置、设备及介质，其中，方法包括步骤：利用多门控混合专家网络根据多模态数据获取不同模态数据的嵌入表示；根据多门控混合专家网络的专家网络及门控网络结合嵌入表示获取不同模态数据在不同门控阶段的融合权值；在每个门控阶段根据融合权值加权融合对应门控阶段输入的多模态数据生成初步融合数据，并将初步融合数据拼接单模态数据作为下一门控阶段输入的多模态数据；该方法根据多门控混合专家网络获取多模态数据不同模态在不同门控阶段中的融合权值，并根据融合权值对多模态数据进行多阶段融合，能有效提高语音识别的鲁棒性、准确率。
用于语音识别多模态数据融合方法装置设备介质

[发明专利]多模态编码模型的训练方法、装置、电子设备及存储介质-CN202210454358.6在审
发明人：林镇溪;张子恒 -专利权人：腾讯科技（深圳）有限公司
申请日： 2022-04-27 - 公布日： 2022-09-27 - 主分类号： G06F16/36 文献下载
摘要：本申请提供了一种多模态编码模型的训练方法、装置、电子设备及存储介质；方法包括：调用待训练的多模态编码模型，对第一、第二样本知识图谱中的每个样本实体进行编码处理，得到每个样本实体的至少两个模态的模态特征；针对每个样本实体进行以下处理：基于样本实体的每个模态特征，确定样本实体对应的模态间子对比损失；在每个模态下针对每个对齐实体对进行以下处理：基于对齐实体对的两个模态特征，确定对齐实体对的模态内子对比损失；确定多模态编码模型的模态间总对比损失、模态内总对比损失；基于模态间总对比损失以及模态内总对比损失，更新多模态编码模型的参数。通过本申请，能够提升多模态编码模型针对知识图谱对齐处理的准确性。
多模态编码模型训练方法装置电子设备存储介质

[发明专利]一种基于多模态融合的高光谱图像分类方法-CN202310182438.5在审
发明人：王雪松;程玉虎;张威;李华占;王浩宇 -专利权人：中国矿业大学
申请日： 2023-03-01 - 公布日： 2023-07-25 - 主分类号： G06V20/10 文献下载
摘要：本发明公开了一种基于多模态融合的高光谱图像分类方法，首先，通过维度统一层统一高光谱和激光雷达数据的维度；然后，通过多尺度分组卷积分别提取高光谱和激光雷达数据的多个尺度空间特征，并在对应尺度上进行多模态特征聚合，得到多个尺度的多模态聚合特征，进行拼接后得到多尺度聚合特征，并对其进行全局平均池化和全局最大池化，并结合全局协方差信息获得多模态数据的多尺度全局信息；接着，结合多模态数据的多尺度全局信息对不同尺度的多模态聚合特征进行融合，得到多模态空间融合特征；最后，利用激光雷达的空间拓扑信息对多模态空间融合特征进行拓扑约束，并将此约束下的多模态空间融合特征输入分类器完成分类任务。
一种基于多模态融合光谱图像分类方法

[发明专利]一种基于边缘计算的预警系统以及预警方法-CN202110362866.7有效
发明人：曹捷;宋灿;刘志兴 -专利权人： TCL通讯（宁波）有限公司
申请日： 2021-04-02 - 公布日： 2023-06-20 - 主分类号： G08B21/02 文献下载
摘要：本申请公开了一种基于边缘计算的预警系统以及预警方法，所述的预警系统包括：多模态采集装置、边缘设备以及监控平台，所述多模采集装置与所述边缘设备相连接，所述边缘设备与所述监控平台相连接，所述多模采集装置采用被监护者的多模态数据，并将采集到多模态数据发送至边缘设备，所述边缘设备基于所述多模态数据确定被监护者的预警信息，并将所述预警信息发送监控平台，所述监控平台将预警信息反馈给监护者。本申请中的多模态采集装置将采集的多模态数据发送给边缘设备，边缘设备根据多模态数据确定被监护者的状态数据，这样将计算过程转移至边缘设备，无需将被监护者相关的多模态数据发送给云端运算，从而可以提高用户多模态数据的安全性
一种基于边缘计算预警系统以及预警方法

[发明专利]一种应用于板结构损伤检测的多模态Lamb波模态分离方法-CN201810378585.9有效
发明人：武湛君;周凯;徐新生;郑跃滨 -专利权人：大连理工大学
申请日： 2018-04-25 - 公布日： 2020-09-29 - 主分类号： G01N29/44 文献下载
摘要：本发明公开了一种应用于板结构损伤检测的多模态Lamb波模态分离方法，将采集到的多模态频散Lamb波信号分离为各单一模态信号，通过对单一模态Lamb波信号的研究等效研究多模态Lamb波信号，以简化信号处理工作利用有限元模拟或实验的方法获取结构中多模态Lamb波信号，根据Lamb波相速度以及群速度频散曲线，用MATLAB软件模拟相同频率下存在的单一模态Lamb波信号，并用MATLAB软件模拟的单一模态Lamb波信号重构有限元模拟或实验获取的多模态信号，实现模态分离。本方法可以将多模态Lamb波信号分离为信号中所包含的各单一模态的信号，将复杂的信号简化，为Lamb波在损伤检测等领域的应用提供了指导。
一种应用于板结损伤检测多模态 lamb 波模态分离方法

[发明专利]多模态特征融合方法、装置、计算设备以及介质-CN202110291490.5在审
发明人：石佳影;许盛辉;潘照明 -专利权人：网易传媒科技（北京）有限公司
申请日： 2021-03-18 - 公布日： 2021-06-25 - 主分类号： G06K9/62 文献下载
摘要：本公开实施例提供了一种多模态特征融合方法、装置、计算设备以及介质，涉及机器学习技术领域。该方法包括：提取多媒体资源的多个模态中各个模态的特征；将各个模态的特征在模态维度进行组合，生成多通道特征，其中，多通道特征的每个通道与一个模态对应；对多通道特征进行卷积处理，生成多通道特征对应的融合特征根据本公开实施例的技术方案，能够实现不同模态特征之间的信息互补，有效融合不同模态的特征。
多模态特征融合方法装置计算设备以及介质

[发明专利]一种多模态数据检索方法、系统、终端及存储介质-CN202010922939.9在审
发明人：王硕;吴振宇;王建明 -专利权人：平安科技（深圳）有限公司
申请日： 2020-09-04 - 公布日： 2020-12-01 - 主分类号： G06F16/432 文献下载
摘要：本发明公开了一种多模态数据检索方法、系统、终端及存储介质。所述方法包括：获取历史多模态数据，所述历史多模态数据至少包括图片数据和文本数据；根据所述历史多模态数据训练跨模态检索模型；所述跨模态检索模型至少包括图片模态检索模型和文本模态检索模型；将待检索数据输入所述跨模态检索模型，所述跨模态检索模型通过所述图片模态检索模型和文本模态检索模型分别对所述待检索数据进行检索，得到所述待检索数据的相似数据文件候选集，并对所述相似数据文件候选集进行相似度排序，得到与所述待检索数据相似度最高的数据文件本发明能够很好地对图片、文本等多模态数据进行检索，提高了检索准确性以及检索效率。
一种多模态数据检索方法系统终端存储介质