“多模态超”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果1309902个，建议您升级VIP下载更多相关专利

[发明专利]一种多模态信息处理方法、装置、电子设备和存储介质-CN202110239408.4在审
发明人：袁韶祖;陈蒙;刘瑞雪 -专利权人：北京沃东天骏信息技术有限公司;北京京东世纪贸易有限公司
申请日： 2021-03-04 - 公布日： 2021-12-07 - 主分类号： G06K9/62 文献下载
摘要：本申请实施例公开了一种多模态信息处理方法、装置、电子设备和存储介质，所述方法包括：从获取到的多模态信息中提取第一模态特征和第二模态特征；所述第一模态特征和所述第二模态特征为两种不同模态的特征；基于注意力机制，利用所述第二模态特征，对所述第一模态特征进行注意力加权处理，得到第一加权模态特征；对所述第一加权模态特征和所述第二模态特征进行多模态分解双线性池化处理，得到双模态向量；根据所述双模态向量，生成所述多模态信息对应的意图分类结果
一种多模态信息处理方法装置电子设备存储介质

[发明专利]一种基于多模态注意力融合网络的行为识别方法及系统-CN202111458271.8在审
发明人：舒祥波;葛晓静;杨佳文;宋砚 -专利权人：南京理工大学
申请日： 2021-12-02 - 公布日： 2022-03-11 - 主分类号： G06V40/20 文献下载
摘要：本发明涉及一种基于多模态注意力融合网络的行为识别方法及系统。该方法包括利用多模态注意力融合网络中的ResNeXt101网络提取待识别的视频中的RGB特征；并利用多模态注意力融合网络中的Shift‑GCN网络提取骨骼特征；对利用多模态注意力融合网络中的模态融合网络对RGB特征和骨骼特征进行模态融合，确定模态融合后的特征；利用多模态注意力融合网络中的通道融合网络对模态融合后的特征进行通道融合，确定通道融合后的特征；对RGB特征的损失、骨骼特征的损失以及通道融合后的特征的损失进行整合，确定多模态损失，并利用多模态损失优化多模态注意力融合网络，输出行为识别结果。
一种基于多模态注意力融合网络行为识别方法系统

[发明专利]一种双模态非对称双OAM波超表面阵列的制造方法-CN202211532495.3在审
发明人：郑秋容;余佳宇;唐学琴;张斌;刘杰;贺杰 -专利权人：中国人民解放军空军工程大学
申请日： 2022-12-01 - 公布日： 2023-07-18 - 主分类号： H01Q15/14 文献下载
摘要：本公开是关于一种双模态非对称双OAM波超表面阵列的制造方法。该制造方法包括：建立宽带Pancharatnam‑Berry超表面反射单元；在宽带Pancharatnam‑Berry超表面反射单元上，设计N×N个平面阵列单元的相位分布，依照所述相位分布将所述宽带PB超表面单元加工成超表面反射阵列；利用圆极化平面电磁波照射所述超表面反射阵列，得到双模态非对称双OAM波超表面阵列。
一种双模对称 oam 表面阵列制造方法

[发明专利]基于由粗到细渐进式跨模态注意力的抗噪多模态表征方法-CN202210745272.9在审
发明人：郭军军;杨溪 -专利权人：昆明理工大学
申请日： 2022-06-28 - 公布日： 2022-11-08 - 主分类号： G06F16/903 文献下载
摘要：本发明涉及基于由粗到细渐进式跨模态注意力的抗噪多模态表征方法(CFP‑CMA)，来解决多模态情感分析中不确定噪声问题。本发明首先粗略浏览多模态信息以获得具有跨模态注意的粗粒度全局信息，并采用模态特定门控单元分别动态过滤每个模态的不确定性噪声。然后使用模态特定渐进式更新单元来逐渐淡化多模态数据中噪声的影响并学习细粒度特征。最后利用模态间自适应融合机制，来学习鲁棒的多模态融合表征，用于多模态情感分析。实验结果表明提出的模型在有噪声和全模态情况下的性能超过了以前的工作。
基于粗到细渐进式跨模态注意力抗噪多模态表征方法

[发明专利]语义表示模型的预训练方法、装置、电子设备及存储介质-CN202010196023.X有效
发明人：尹维冲;于菲;唐霁霁;孙宇 -专利权人：北京百度网讯科技有限公司
申请日： 2020-03-19 - 公布日： 2021-11-23 - 主分类号： G06F40/30 文献下载
摘要：具体实现方案为：采集多个不同模态的单模态的训练数据集和同时包括多个模态的多模态的训练数据集；分别采用各单模态的训练数据集，对对应的单模态的语义表示模型进行预训练；基于训练好的各单模态的语义表示模型，采用多模态的训练数据集，对融合后的多模态的语义表示模型进行训练，其中多模态的语义表示模型包括多个单模态的语义表示模型和融合模型。本申请能够分阶段地对多模态的语义表示模型进行训练，能够有效地提高多模态的语义表示模型的表达准确性。
语义表示模型训练方法装置电子设备存储介质

[发明专利]智能设备的交互方法、装置、设备及存储介质-CN202010605326.2有效
发明人：龙云翔 -专利权人：百度在线网络技术（北京）有限公司;上海小度技术有限公司
申请日： 2020-06-29 - 公布日： 2023-10-10 - 主分类号： G10L15/22 文献下载
摘要：本申请提出了一种智能设备的交互方法、装置、设备及存储介质，涉及语音识别、语音交互、自然语言处理和人机交互技术领域，具体实现方案为：接收用户的语音指令；根据语音指令进行意图预测以生成预测意图；当预测意图包括多模态交互意图时，生成多模态交互预指令并发送至多模态识别组件，以使多模态采集组件根据多模态交互预指令预采集多模态数据。根据本申请能够提高多模态交互效率，缩短用户进行多模态交互时的等待时延，提升用户体验。
智能设备交互方法装置存储介质

[发明专利]一种用户注意力引导的多模态对话系统及方法-CN201910458875.9有效
发明人：王文杰;聂礼强;崔晨;尹建华;程志勇;胡琳梅 -专利权人：山东大学
申请日： 2019-05-29 - 公布日： 2021-08-24 - 主分类号： G06F16/332 文献下载
摘要：本发明公开了一种用户注意力引导的多模态对话系统及方法，采用多模态编码器和解码器能够分别编码多模态话语和生成多模态回复。该系统包括数据获取模块、文本特征提取模块、多模态编码器和多模态解码器；所述数据获取模块获取文本信息和商品的视觉图像信息；文本特征提取模块生成注意力加权的文本特征；多模态编码器采用卷积神经网络模型提取视觉图像的视觉特征，将视觉特征输入分类—属性组合树中进行遍历，得到属性级视觉特征；对视觉特征和文本特征进行多模态分解双线性池化处理，生成多模态话语向量；多模态解码器生成上下文向量；基于上下文向量，选择一定量所需商品的可视图像及其文本属性，对其进行解码处理，生成多模态的商品表示。
一种用户注意力引导多模态对话系统方法

[发明专利]一种新型多模态化工过程异常状态检测方法-CN202010570613.4在审
发明人：葛英辉;蓝艇;其他发明人请求不公开姓名 -专利权人：宁波大学
申请日： 2020-06-13 - 公布日： 2020-11-10 - 主分类号： G06K9/62 文献下载
摘要：本发明公开一种新型多模态化工过程异常状态检测方法，旨在发明出一种可以挖掘多模态之间相关特征的过程建模技术并将之应用于多模态化工过程异常状态检测。具体来讲，本发明首先根据多模态采样数据的两个特征：其一，多模态采样数据之间是存在相关性的；其二，多模态采样数据具备各自的独特性，来实施多模态化工过程异常状态检测；相比之下，多模态PCA方法为各个模态采样数据单独建立模型，只考虑到了各模态的独特性。其次，本发明方法分别利用相关特征成分和独立特征成分分别实施在线异常状态检测，较全面地利用了挖掘出的潜在特征；最后，通过具体的实施案例，对比验证了本发明在多模态的连续搅拌反应釜异常运行状态检测上的优越性。
一种新型多模态化工过程异常状态检测方法

[发明专利]多模态变分自编码模型训练方法、系统及相关设备-CN202210659509.1在审
发明人：陈亚瑞;杨剑宁;吴世伟;刘垚;王晓捷;闫潇宁;许能华 -专利权人：深圳市安软慧视科技有限公司
申请日： 2022-06-09 - 公布日： 2022-09-09 - 主分类号： G06V10/774 文献下载
摘要：本发明适用于多模态数据处理领域，提供了一种多模态变分自编码模型训练方法、系统及相关设备，所述方法包括：获取包含多种模态的图像数据，并将每两张不同模态的图像数据进行配对，得到图像对数据集；构建多模态变分自编码框架模型，并将所述图像对数据集作为所述多模态变分自编码框架模型的输入，对所述多模态变分自编码框架模型进行训练；使用四元组度量损失作为所述多模态变分自编码框架模型训练的损失函数，直到损失函数收敛，输出完成训练的多模态变分自编码模型本发明实现了在多模态变分自编码模型训练过程中在隐空间对共享隐向量进行对齐，使模型对多模态数据的数据表示与生成能力得到提高。
多模态变分编码模型训练方法系统相关设备

[发明专利]多模态知识本征表示学习方法、装置、设备及存储介质-CN202210214990.3有效
发明人：刘鑫;李春豹;崔莹;黄刘;陈莹;张海瀛 -专利权人：中国电子科技集团公司第十研究所
申请日： 2022-03-04 - 公布日： 2023-09-19 - 主分类号： G06F16/45 文献下载
摘要：本发明公开了一种多模态知识本征表示学习方法、装置、设备及存储介质，该方法包括获取多模态知识样本，并对多模态知识样本进行知识增强；利用向量信息编码器处理知识增强样本，获得每个知识增强样本对应的特征向量；将特征向量投影到对比空间，获得特征向量对应的投影向量；基于任意两个投影向量的相似度，优化多模态知识表征学习模型；将多模态知识输入优化的多模态知识表征学习模型，以获得学习结果。本发明通过在多模态知识增强基础上，通过对比表示学习方式对多模态知识本征表示学习模型进行训练，促使模型学习到不同模态知识的最本质特征，实现了模态不同的相同知识之间的融合互补，能够得到多模态知识本质特征的鲁棒学习结果
多模态知识表示学习方法装置设备存储介质

[发明专利]乳腺癌MR-荧光双模态显像合并光热治疗的特异性分子探针-CN201811031658.3在审
发明人：洛小珺 -专利权人：中国医学科学院肿瘤医院
申请日： 2018-09-05 - 公布日： 2019-02-15 - 主分类号： A61K49/12 文献下载
摘要：本发明公开了一种乳腺癌MR‑荧光双模态显像合并光热治疗的特异性分子探针，该特异性分子探针包括超顺磁性氧化铁载体、曲妥珠单抗和荧光分子，所述超顺磁性氧化铁载体为PEG化超顺磁性氧化铁纳米颗粒，所述超顺磁性氧化铁载体与曲妥珠单抗的氨基直接连接本发明的乳腺癌MR‑荧光双模态显像合并光热治疗的特异性分子探针可以用于乳腺癌活体MR‑荧光双模态显像合并光热治疗。
超顺磁性氧化铁特异性分子探针光热治疗双模态乳腺癌荧光显像曲妥珠单抗合并氨基荧光分子末端羧基纳米颗粒活体

[发明专利]多模态分类模型生成方法和装置-CN202110394335.6在审
发明人：李晓敏;李银锋;孔滕滕 -专利权人：北京沃东天骏信息技术有限公司;北京京东世纪贸易有限公司
申请日： 2021-04-13 - 公布日： 2021-12-07 - 主分类号： G06K9/62 文献下载
摘要：本公开提供了一种多模态分类模型生成方法和装置，涉及人工智能技术领域。该方法的一具体实施方式包括：获取预置的样本集，样本包括至少两个不同模态的子样本；获取预先建立的多模态融合网络，多模态融合网络包括：门限模块、模态融合模块以及至少两个分别对不同模态数据进行分类的分类模型；从样本集中选取样本；将该样本的不同模态的子样本分别输入至与各模态对应的分类模型，得到各个分类模型输出的特征向量，通过门限模块提取所有的特征向量的门限向量，并将所有的特征向量和门限向量输入模态融合模块，若多模态融合网络满足训练完成条件，则将多模态融合网络作为多模态分类模型。该实施方式提高了多模态目标的分类效果。
多模态分类模型生成方法装置

[发明专利]双引擎驱动的多模态数据检索方法、设备及系统-CN202211170325.5在审
发明人：潘磊;廖泓舟;崔莹;代翔;戴礼灿 -专利权人：中国电子科技集团公司第十研究所
申请日： 2022-09-23 - 公布日： 2022-12-09 - 主分类号： G06F16/903 文献下载
摘要：本发明公开了一种双引擎驱动的多模态数据检索方法、设备及系统，属于多模态数据综合检索领域，包括步骤：S1，以多模态数据为输入，判断多模态数据的语义标签，构建语义标签库；构建统一特征空间，提取不同模态数据在同一特征空间下的特征向量，构建特征向量库；S2，以多模态检索条件为输入，通过多模态数据智能处理方法分别得到检索条件的语义标签和特征向量，基于语义标签库和特征向量库，利用跨模态语义标签检索引擎和跨模态特征向量检索引擎在多模态数据库中完成符合检索条件的多模态数据的查询本发明支持一种模态数据输入检索出包含结果的所有模态数据，能够有效实现不同类型数据中查询结果的全面精准召回。
引擎驱动多模态数据检索方法设备系统

[发明专利]多模态响应-CN201910826487.1在审
发明人：阿普丽尔·普法尔;贾里德·斯特劳德曼;哈利·郁;阿德里安娜·奥尔莫斯·安蒂利翁;乔纳森·利夫尼;奥坎·科拉克;詹姆斯·詹戈拉;尼汀·坎德沃尔;杰森·卡恩斯;安德鲁·沃森;约瑟夫·阿谢尔;瓦莱里·尼高 -专利权人：谷歌有限责任公司
申请日： 2019-09-03 - 公布日： 2019-12-06 - 主分类号： G06F3/16 文献下载
摘要：本文涉及多模态响应，尤其公开了用于在动态生成针对客户端设备的当前模态而定制的客户端设备输出中使用多模态响应的系统、方法和装置。多模态客户端设备可以进行跨多模态谱的各种交互，所述交互包括仅语音交互、语音主导交互、多模态交互、视觉主导交互、仅视觉交互等。多模态响应可以包括：要针对全部交互类型被渲染的核心消息以及用于向用户提供附加信息的一个或多个取决于模态的组成部分。
多模态客户端设备模态响应多模态交互方法和装置动态生成附加信息交互类型视觉交互用户提供语音交互主导语音渲染视觉输出

[发明专利]多模态搜索方法、装置、设备、存储介质以及程序产品-CN202110942073.2在审
发明人：张馨;黄洁 -专利权人：百度在线网络技术（北京）有限公司
申请日： 2021-08-17 - 公布日： 2021-11-16 - 主分类号： G06F16/33 文献下载
摘要：本公开提供了一种多模态搜索方法、装置、设备、存储介质以及程序产品，涉及人工智能领域，尤其是深度学习技术领域。该方法的一具体实施方式包括：接收终端设备采集的至少两种模态的搜索信息，其中，模态包括以下至少一种：文本、语音、视觉、手势和触控；将至少两种模态的搜索信息合成多模态搜索信息；基于多模态搜索信息进行搜索，得到多模态搜索结果；将多模态搜索结果发送给终端设备。该实施方式打破模态限制，通过融合至少两种模态的搜索信息，建立实时、同步的多模态搜索，实现更接近真人交互的智能搜索。
多模态搜索方法装置设备存储介质以及程序产品