“多模态超”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果1309902个，建议您升级VIP下载更多相关专利

[发明专利]基于文本指导的层级自适应融合的多模态情感分析方法-CN202210743773.3在审
发明人：郭军军;卢婵 -专利权人：昆明理工大学
申请日： 2022-06-28 - 公布日： 2022-08-30 - 主分类号： G06F16/903 文献下载
摘要：本发明涉及基于文本指导的层级自适应融合的多模态情感分析方法，属于自然语言处理领域。发明包括：首先分别提取文本、语音、视觉三种模态特征，然后采用跨模态注意力机制以文本模态信息为指导实现两两模态之间的表征，获取文本密切相关的语音特征和视觉特征；然后采用多模态自适应门控机制使用模态相关特征对三种单模态特征进行有效筛选，获取三种模态特有特征；接着采用多模态层级融合策略综合多模态特征和模态重要信息；最后输出使用线性变换去预测情感极性。实验结果表明本发明对多模态情感分析性能的提升是有效的。
基于文本指导层级自适应融合多模态情感分析方法

[发明专利]一种基于生成式对抗网络的多模态医学图像合成方法-CN202111465819.1在审
发明人：朱鹏飞;刘家旭;曹兵;胡清华 -专利权人：天津大学
申请日： 2021-12-03 - 公布日： 2022-03-04 - 主分类号： G06T5/50 文献下载
摘要：本发明涉及一种基于生成式对抗网络的多模态医学图像合成方法。所述方法包括：构造模态注意力生成式对抗网络；所述模态注意力生成式对抗网络包括自表示网络和由生成式对抗网络实现的图像转换网络；采用多模态医学图像数据集对所述模态注意力生成式对抗网络进行训练与测试，生成训练完成的模态注意力生成式对抗网络；将已有的多模态医学图像输入至所述训练完成的模态注意力生成式对抗网络，输出目标模态的合成图像。本发明方法用于合成缺失的医学模态图像，能够提高多模态医学图像合成的质量，完整的多模态医学图像有益于医生做出更准确的决策。
一种基于生成对抗网络多模态医学图像合成方法

[发明专利]多模态特征的获取方法、装置及电子设备-CN202210994209.9在审
发明人：袁宇辰 -专利权人：腾讯科技（深圳）有限公司
申请日： 2022-08-18 - 公布日： 2022-11-25 - 主分类号： G06K9/62 文献下载
摘要：本申请提供了一种多模态特征的获取方法、装置及电子设备；方法包括：对视频‑文本对中的视频进行模态特征提取，得到视频模态特征，并对所述视频‑文本对中的文本进行模态特征提取，得到文本模态特征；将所述视频模态特征和所述文本模态特征进行拼接，得到拼接特征；对所述拼接特征进行至少两次线性映射，得到至少两个线性映射特征；结合所述至少两个线性映射特征，确定中间模态特征；对所述中间模态特征、所述文本模态特征及所述视频模态特征进行模态融合，得到所述视频‑文本对的多模态特征。通过本申请，能够有效提高多模态特征的跨模态表征性能的同时，提升多模态特征的单模态表征性能。
多模态特征获取方法装置电子设备

[发明专利]活体检测模型的训练方法、活体检测方法和系统-CN202310450231.1在审
发明人：李宇明;朱军;丁菁汀;李亮 -专利权人：支付宝（杭州）信息技术有限公司
申请日： 2023-04-20 - 公布日： 2023-07-21 - 主分类号： G06N3/096 文献下载
摘要：本说明书提供的活体检测模型的训练方法、活体检测方法和系统，获得多模态训练数据和主模态对应的单模态训练数据，所述多模态训练数据可以包括多个模态的训练数据，所述多个模态包括主模态和至少一个辅助模态，然后，基于多模态训练数据，对至少一个辅助模态中每一辅助模态对应的预设第一活体检测模型进行训练，得到每一辅助模态对应的辅助活体检测模型，以及基于多模态训练数据、单模态训练数据和辅助活体检测模型，对主模态对应的预设第二活体检测模型进行多模态知识蒸馏，得到目标活体检测模型；该方案可以提升主模态对应的目标活体检测模型的训练精度，进而提升活体检测的准确率。
活体检测模型训练方法系统

[发明专利]目标分类识别方法、装置、计算机设备及存储介质-CN202010177845.3有效
发明人：韦鹏程;黄思行 -专利权人：重庆第二师范学院
申请日： 2020-03-13 - 公布日： 2023-03-31 - 主分类号： G06F18/241 文献下载
摘要：所述方法包括：获取目标物的多模态数据，并对多模态数据进行数据预处理，得到目标物的标准多模态数据；将标准多模态数据输入至测量模型中，通过测量模型提取标准多模态数据的特征向量；根据特征向量以及标准多模态数据由于获取的是目标物的多模态数据，且对多模态数据进行了数据预处理，通过测量模型中的回归分类器对目标物进行分类识别处理，可以提高目标识别的精确度。
目标分类识别方法装置计算机设备存储介质

[发明专利]一种基于多模态共有特征空间探索的跨模态行人重识别方法-CN202310320447.6在审
发明人：刘海东;冉中矗;张浩;于兴哲;王佳亮;张强;金国强 -专利权人：陕西黄陵发电有限公司;西安热工研究院有限公司
申请日： 2023-03-27 - 公布日： 2023-06-27 - 主分类号： G06V20/52 文献下载
摘要：本发明公开了一种基于多模态共有特征空间探索的跨模态行人重识别方法，包括单模态特征提取网络，多模态共有特征空间探索网络和多模态特征交互的辅助训练模块，对训练图像进行预处理获取训练样本；构建单模态特征提取网络和多模态共有特征探索网络，单模态特征提取网络进行单模态特征提取，多模态共有特征空间探索网络在多个模态共有特征空间中提取模态共有特征并进行合理的融合，两部分网络的训练在分类损失和度量损失的监督下进行，得到的特征描述被用于测试时进行相似度计算；本发明能够减小特征之间的模态差异，交互之后的特征同样适用损失函数进行约束，增强网络提取行人模态共有特征的能力。本发明极大地提高了跨模态行人重识别任务的精度。
一种基于多模态共有特征空间探索跨模态行人识别方法

[发明专利]一种网衣与浮体耦合水弹性响应分析方法-CN202010059765.8有效
发明人：苗玉基;丁军;叶永林;程小明;田超;陈彧超;俞俊 -专利权人：中国船舶科学研究中心（中国船舶重工集团公司第七0二研究所）
申请日： 2020-01-19 - 公布日： 2022-12-27 - 主分类号： G06F30/23 文献下载
摘要：本发明涉及网衣与浮体耦合水弹性响应分析方法，采用了网片超单元法对网衣建立有限元模型；对养殖装备的结构进行模态分析，在进行模态分析时考虑主浮体、细长浮体以及网衣三者间的协调变形，得到各模态下对应的应力和应变；网片超单元法得到网衣的波流载荷；建立养殖装备的运动方程，得到养殖装备结构的模态主坐标，根据主坐标计算模态叠加后的养殖装备总的应力、应变及运动响应。本发明通过超单元法可不再计算各网孔的受力，大大减少了计算工作量；通过引入实体率，提高了网衣流体载荷的计算精度；通过浮体和网衣的耦合分析，在计算运动响应时考虑了网衣与浮体间的相互影响，从而大大提高了计算结果的准确性
一种耦合弹性响应分析方法

[发明专利]基于对比学习的多模态数据特征表达方法、装置及介质-CN202110981384.X在审
发明人：谯轶轩;陈浩 -专利权人：平安科技（深圳）有限公司
申请日： 2021-08-25 - 公布日： 2021-11-19 - 主分类号： G06K9/62 文献下载
摘要：本发明涉及人工智能及数字医疗领域，提供了一种基于对比学习的多模态数据特征表达方法、装置及介质。该方法包括：获取多模态数据样本，并对多模态数据样本进行预处理，得到特征向量组合；对特征向量组合中的至少一个特征向量进行替换，得到对比特征向量组合；将特征向量组合和对比特征向量组合分别输入到多层编码解码模型中，得到多模态数据样本的正向特征表达和负向特征表达；根据多模态数据样本的正向特征表达和负向特征表达，对多层编码解码模型的参数进行训练，得到多模态数据处理模型；获取待处理的多模态数据，将待处理的多模态数据输入到多模态数据处理模型中，得到待处理的多模态数据的特征表达，以此提高样本利用率和特征表达的准确性。
基于对比学习多模态数据特征表达方法装置介质

[发明专利]面向MSWI过程多模态数据驱动预测模型的仿实时验证平台-CN202210189264.0在审
发明人：汤健;王天峥;夏恒;乔俊飞 -专利权人：北京工业大学
申请日： 2022-02-28 - 公布日： 2022-05-20 - 主分类号： G05B19/418 文献下载
摘要：本发明提供了一种面向MSWI过程多模态数据驱动预测模型的仿实时验证平台，包括多模态历史数据同步子系统和多模态历史数据驱动建模子系统；多模态历史数据同步子系统包括过程数据与图像同步设备、历史数据实时发布设备、左炉排火焰实时播放设备和右炉排火焰实时播放设备；多模态历史数据驱动建模子系统包括历史数据实时接收模块、火焰图像实时采集模块和多模态历史数据驱动预测模型模块，多模态历史数据驱动预测模型模块同步采集得到的多模态历史数据时间并将其作为预测模型输入本发明设计了仿实时验证平台结构，建立了多模态数据驱动预测模型，为MSWI过程离线多模态数据驱动预测模型提供了可靠的工程化验证环境。
面向 mswi 过程多模态数据驱动预测模型实时验证平台

[发明专利]一种基于可见光-远红外图像的多模态去浓雾方法-CN202210141500.1有效
发明人：王晗;刘江浩 -专利权人：南通大学
申请日： 2022-02-16 - 公布日： 2022-09-06 - 主分类号： G06T5/00 文献下载
摘要：本发明公开了一种基于可见光‑远红外图像的多模态去浓雾方法，包括如下步骤：步骤1）利用多目摄像机和超声波雾化器采集可见光、远红外图像，并通过图像配准获取视野与分辨率均相同的可见光‑远红外图像组作为“多模态图像‘融合‑迁移’协同去雾网络”的输入；步骤2）构建“多模态图像‘融合‑迁移’协同去雾网络”；步骤3）利用多模态图像数据集作为训练数据，以“多模态图像‘融合‑迁移’协同去雾网络”作为生成器。同时，建立判别器，采用对抗生成网络模型训练、获取“多模态图像‘融合‑迁移’协同去雾网络”的最优网络参数；步骤4）利用训练完毕的“多模态图像‘融合‑迁移’协同去雾网络”对可见光‑远红外多模态图像进行去浓雾处理本发明能够将多模态图像的特征有效融合，实现模态互补，显著提高浓雾条件下图像去雾的有效性。
一种基于可见光红外图像多模态去浓雾方法

[发明专利]一种用于机器人的输出控制方法及机器人-CN201610941223.7有效
发明人：尚小维 -专利权人：北京光年无限科技有限公司
申请日： 2016-10-25 - 公布日： 2019-08-02 - 主分类号： G05B19/04 文献下载
摘要：本发明的方法包括：输出第一多模态数据；在输出所述第一多模态数据的过程中，接收用户输入；当所述用户输入包含输出第二多模态数据的请求时，判断所述第一多模态数据与所述第二多模态数据是否可以并行输出；当所述第一多模态数据与所述第二多模态数据不能并行输出时，中断所述第一多模态数据的输出，进行所述第二多模态数据的输出。根据本发明的方法，可以在机器人连续收到多个多模块数据的输出请求时避免输出冲突以及数据堆积阻塞，有效地保证机器人在交互过程中的输出稳定性，避免交互输出错误，从而大大提高用户体验。
多模态数据输出机器人输出控制并行输出稳定性交互过程接收用户人本发明输出请求数据堆积用户体验多模块有效地阻塞中断冲突保证

[发明专利]多模态遥感影像数据检测方法及系统-CN202110408562.X有效
发明人：洪勇;罗冷坤;李江;董朝阳 -专利权人：武汉光谷信息技术股份有限公司
申请日： 2021-04-16 - 公布日： 2021-07-30 - 主分类号： G06K9/00 文献下载
摘要：本发明提供一种多模态遥感影像数据检测方法、系统、电子设备及存储介质，方法包括：分别将不同时序的多模态遥感影像数据输入多模态特征挖掘网络，输出每一个时序的多模态遥感影像数据的融合矢量特征，将多个融合矢量特征输入变化检测网络，由变化检测网络识别出不同时序的多模态遥感影像数据之间是否具有差异。本发明构建的多模态特征挖掘网络对多模态遥感影像数据的特征进行挖掘并融合，满足训练数据集的多样性、多时序性、多特征性需求，能够提高网络挖掘特征的精确性，并通过构建多模态特征挖掘网络和变化检测网络实现对不同时序的多模态遥感影像的异常状态进行检测
多模态遥感影像数据检测方法系统

[发明专利]一种基于多模态注意力机制的情感分类方法-CN202111368526.1在审
发明人：孔万增;郭继伟;唐佳佳;刘栋军;刘国文;崔岂铨 -专利权人：杭州电子科技大学
申请日： 2021-11-18 - 公布日： 2022-03-11 - 主分类号： G06K9/62 文献下载
摘要：本发明公开一种基于多模态注意力机制的情感分析方法。本发明利用异构图不同节点之间的复杂的关系去构建多个模态之间的交互。在多个模态信息交互的过程中，将不同的模态信息汇聚到一个紧凑的多模态表示中，用于偏移文本模态信息在语义空间中的位置。同时，多模态注意力机制技术能够以一种细粒度的方式对于多模态信息做融合，因此能够很好的解决在多模态学习中存在的固有问题，即行为信息的变化频率通常快于文本信息的变化频率。通过实验发现，该方法在不同任务的情感分析取得很好的表现，说明多模态注意力机制应用在情感分析任务的可行性，是对当前情感识别领域的多模态融合框架提供了新的研究手段。
一种基于多模态注意力机制情感分类方法

[发明专利]多模态预测方法、装置、设备及存储介质-CN202210822341.1在审
发明人：舒畅;陈又新 -专利权人：平安科技（深圳）有限公司
申请日： 2022-07-12 - 公布日： 2022-10-14 - 主分类号： G06F16/33 文献下载
摘要：本申请涉及人工智能技术领域，揭示了一种多模态预测方法、装置、设备及存储介质，其中方法包括：将待预测数据输入预设的多模态预测模型进行预测，得到待预测数据对应的目标预测结果，多模态预测模型的训练方法包括：采用基于互信息的损失函数，对预设的初始模型进行训练，直至达到预设的模型训练结束条件；将达到模型训练结束条件的初始模型的第一模态编码器、第二模态编码器、多模态融合模块及下游任务模块作为多模态预测模型，其中，第一模态编码器的输出和第二模态编码器的输出作为多模态融合模块的输入，多模态融合模块的输出作为下游任务模块的输入。
多模态预测方法装置设备存储介质

[发明专利]多模态数据采集与标注方法、装置、计算机设备-CN202310431207.3在审
发明人：罗建桢;万子龙;蔡君 -专利权人：广东技术师范大学
申请日： 2023-04-20 - 公布日： 2023-08-04 - 主分类号： G06F18/213 文献下载
摘要：本发明属于数据处理技术领域，涉及一种多模态数据采集与标注方法、装置、计算机设备及存储介质，所述方法包括获取多模态数据，多模态数据包括图像模态数据和日志模态数据；对图像模态数据和日志模态数据进行特征提取，获取图像特征和日志特征；对图像特征和日志特征进行特征融合，得到图像和日志融合特征；根据图像和日志融合特征，进行模型训练；将训练好的模型部署到实际场景中，实现对多模态数据的实时分析和处理。构建了具有代表性的工业现场多模态数据集，解决了关于多模态侧信道信息的工控协议关键语义推断方法研究中现成工控数据集的缺乏问题；提出了针对工业现场多模态数据采集与标注的统一框架，提高了数据处理的效率和准确性等
多模态数据采集标注方法装置计算机设备