“多模态大 ”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果2013064个，建议您升级VIP下载更多相关专利

[发明专利]基于多模态的医疗大模型构建方法及其相关设备-CN202310596917.1有效
发明人：左勇;刘伟华;邱建华 -专利权人：智慧眼科技股份有限公司
申请日： 2023-05-25 - 公布日： 2023-10-03 - 主分类号： G06F18/214 文献下载
摘要：本发明公开了一种基于多模态的医疗大模型构建方法及其相关设备，通过包含多模态转换器T、提示管理器M、对话引擎L、任务控制器H和多模态基座模块MMF，多模态基座模块MMF至少包括一个医疗基础模块态基座MFMs的医疗大模型，采用模态分析、模型分配、下游任务结果返回、模态转换归一和响应生成五个阶段，同时处理融合多种模态数据并充分利用了多种模态数据之间的关联，实现多模态任务的快速处理，提高了针对人工智能任务的智能化处理程度和处理效率
基于多模态医疗模型构建方法及其相关设备

[发明专利]一种数据处理方法、装置及电子设备-CN202310378785.5在审
发明人：吴秉哲 -专利权人：腾讯科技（深圳）有限公司
申请日： 2023-03-30 - 公布日： 2023-10-27 - 主分类号： G06F16/33 文献下载
摘要：本申请实施例获取目标对象输入的多模态数据，并将多模态数据输入已训练的自然语言大模型；基于已训练的自然语言大模型执行以下操作：对多模态数据进行特征提取，获得多模态数据的元素特征和位置特征；将多模态数据对应的元素特征和位置特征融合，获得融合特征；基于融合特征，获得多模态数据的多模态数据类别以及多模态数据类别对应的置信度；其中，置信度用于表征对应的分类结果的准确程度；根据多模态数据类别以及置信度，向目标对象呈现相应的反馈信息。
一种数据处理方法装置电子设备

[发明专利]模型训练方法、装置、设备及存储介质-CN202310673422.4在审
发明人：杨志雄;杨延展 -专利权人：抖音视界有限公司
申请日： 2023-06-07 - 公布日： 2023-08-29 - 主分类号： G06N3/045 文献下载
摘要：本公开实施例提供了一种模型训练方法、装置、设备及存储介质，用于训练多模态融合网络。获取多模态数据；其中，所述多模态数据包括图像数据、文本数据及音频数据中至少两种模态的数据；将所述多模态数据依次输入所述多模态融合网络，输出多模态数据处理结果；基于所述多模态数据处理结果训练所述多模态适配子网络、模态融合子网络及目标任务子网络中的至少一项，获得训练后的多模态融合网络。本公开实施例提供的模型训练方法，训练多模态融合网络中除预训练多模态子网络外的其他子网络，能够有效降低训练所需内存和显存等资源，同时又能利用预训练好的大模型，可以极大的节省计算资源及时间，从而提高多模态融合网络的训练及部署效率
模型训练方法装置设备存储介质

[发明专利]一种多模态数据表示学习方法及系统-CN201610507736.7有效
发明人：刘文印;杨振国;李青 -专利权人：广东工业大学
申请日： 2016-06-28 - 公布日： 2019-09-06 - 主分类号： G06F16/2458 文献下载
摘要：本发明公开一种多模态数据表示学习方法及系统，通过接收目标多模态数据，并获取目标多模态数据对应的各个模态以及各个模态的特征表示；根据目标多模态数据、特征表示和预设图随机走模型获取融合多模态特征的数据表示和词典表示基于上述公开的方法，同时解决了处理多模态数据时存在的异构性、数据量大、数据缺失和计算代价大的问题。
一种多模态数据表示学习方法系统

[发明专利]一种大尺度人为水土流失扰动范围遥感智能提取方法-CN202310604455.3有效
发明人：江威;温庆可;刘朔;崔师爱;庞治国;谭杰峻;刘昌军;张晓雪;阿旺格列;王敬浪 -专利权人：中国水利水电科学研究院
申请日： 2023-05-25 - 公布日： 2023-10-13 - 主分类号： G06V20/13 文献下载
摘要：本发明公开了一种大尺度人为水土流失扰动范围遥感智能提取方法，首先获取监管范围内人为水土流失扰动前后的时序多模态遥感影像数据，并对时序多模态遥感影像数据进行高精度配准，得到时序遥感影像集；然后根据时序遥感影像集构建融合视觉注意机制的人为水土流失多模态遥感优化特征集；最后根据人为水土流失多模态遥感优化特征集，基于LSP图卷积神经网络对监管范围内的人为水土流失扰动范围进行遥感智能提取。本发明提供了基于多模态遥感的人为水土流失遥感智能提取方法，突破了原有大尺度人为水土流失扰动范围难以自动提取的技术瓶颈，实现了大尺度区域人为水土流失扰动范围高精度和智能化提取。
一种尺度人为水土流失扰动范围遥感智能提取方法

[发明专利]一种多模态预训练模型的训练方法和装置-CN202211204122.3在审
发明人：刘洋;陈驰;李鹏;孙茂松 -专利权人：清华大学
申请日： 2022-09-29 - 公布日： 2022-12-27 - 主分类号： G06K9/62 文献下载
摘要：本发明提供一种多模态预训练模型的训练方法和装置，构建包含多模态图文信息处理网络的多模态预训练模型；构建弱对齐图像‑文本数据集；其中，弱对齐图像‑文本数据集包含文本数据集、图像‑标签数据集和图像‑指代描述数据集；利用弱对齐图像‑文本数据集训练多模态预训练模型。本发明多模态图文信息处理网络可以直接处理多模态图文信息，无需外部模型辅助提取图像特征，推理能力强。同时，采用弱对齐图像‑文本数据集来训练多模态预训练模型，减轻对人工标注的图像‑文本对齐数据的依赖，避免使用对齐的大规模图像‑文本数据集来训练多模态预训练模型出现的数据开销大的问题。
一种多模态预训练模型方法装置

[发明专利]模型的优化训练系统、方法以及相关装置-CN202310809243.9有效
发明人：肖锡尧;郑叔亮;李文珏 -专利权人：北京聆心智能科技有限公司
申请日： 2023-07-04 - 公布日： 2023-10-20 - 主分类号： G06F18/21 文献下载
摘要：该系统中，数据采集模块基于数据采集配置获取多模态数据；数据评估模块基于为不同模态数据匹配的模型评估标准配置，确定多模态数据与大语言模型之间的匹配程度得到数据质量评估报告；模型训练模块根据数据质量评估报告，调整大语言模型的模型结构和/或训练超参数，生成模型训练需求信息；模型训练反馈模块基于模型训练需求信息，在数据采集配置中添加针对多模态数据的采集调整方式。该系统不仅以多模态数据替代单一的语言文本数据，突破传统模型的性能限制，还建立模型训练需求与训练数据采集方式之间的动态反馈，提升训练数据与模型训练需求的匹配程度，优化模型训练效果。
模型优化训练系统方法以及相关装置

[发明专利]基于多通道张量池化的多模态深度分层融合情感分析方法-CN201911244389.3有效
发明人：唐佳佳;金宣妤;孔万增;张建海 -专利权人：杭州电子科技大学
申请日： 2019-12-06 - 公布日： 2022-02-11 - 主分类号： G06K9/62 文献下载
摘要：本发明涉及基于多通道张量池化的多模态深度分层融合情感分析方法。基于注意力机制方法，可以对多模态数据设定相应权重，划分不同模态数据的重要程度，从而根据不同模态数据对任务的不同贡献程度，在融合部分放大贡献程度大的多模态数据在交互时的作用。而相对于单通道多项式张量池化模块，多通道多项式张量池化模块能够从细粒度层面获得鲁棒性高的局部高维度复杂非线性交互信息。本发明在判定多模态数据重要程度基础上，能从细粒度层面刻画稳定的局部高维复杂动态交互信息，是对当前情感识别领域的多模态融合框架的有效补充。
基于通道张量多模态深度分层融合情感分析方法

[发明专利]一种基于层级融合策略的多模态MRI脑肿瘤语义分割方法-CN202311181827.2在审
发明人：王耀南;申文婷;刘敏;朱悦豪;汪嘉正;张哲 -专利权人：湖南大学
申请日： 2023-09-14 - 公布日： 2023-10-20 - 主分类号： G06V10/26 文献下载
摘要：本发明公开了一种基于层级融合策略的多模态MRI脑肿瘤语义分割方法，包括构建多模态脑肿瘤语义分割模型，模型包括具有多分支编码器与单一分支解码器的骨干结构、多模态融合模块MMF、多分支聚合模块MBA和大核卷积跳跃连接模块LKC；多分支编码器对不同模态输入图像进行编码输出对应的编码结果；MMF模块对编码结果进行拼接并提取多模态特征表示，通过通道注意力和高斯调制函数得到对应模态的特征图；MBA模块聚合最后阶段的对应模态的特征图，对多模态特征图进行处理后送入解码器；LKC模块连接对应阶段的特征图与解码器在对应阶段输出的特征图，由解码器的解码路径生成多模态脑肿瘤图像分割图。
一种基于层级融合策略多模态 mri 肿瘤语义分割方法

[发明专利]基于相关性动态融合的多模态生理信号情绪分类方法-CN202110378481.X在审
发明人：孔万增;陈思含;唐佳佳;张建海 -专利权人：杭州电子科技大学
申请日： 2021-04-08 - 公布日： 2021-08-06 - 主分类号： A61B5/16 文献下载
摘要：本发明公开了基于相关性动态融合的多模态生理信号情绪分类方法，该方法首先采集多模态生理信号，再使用神经网络进行特征提取，然后计算两两模态间的皮尔逊相关系数，按照相关性系数的大小确定多模态两两融合的顺序，首先融合相关性大的两个模态特征向量最后使用全连接层对采集的多模态生理信号进行分类，并使用交叉熵损失函数与Adam优化器进行整体的训练、优化。本方法基于时序动态的相关性系数对多模态生理信号进行两两融合，使输入分类器的特征向量包含更丰富的信息，提高了分类准确度。
基于相关性动态融合多模态生理信号情绪分类方法

[发明专利]一种智能元宇宙直播人物生成方法、设备和存储介质-CN202310160823.X在审
发明人：陈鸿雁;顾连生;申凯 -专利权人：北京全界科技有限公司
申请日： 2023-02-24 - 公布日： 2023-06-23 - 主分类号： G06T13/40 文献下载
摘要：本发明公开了一种智能元宇宙直播人物生成方法、设备和存储介质，该方法包括：分别训练语音识别模块、人像生成模块、动作模拟模块、妆容模拟模块和服饰模拟模块，得到多模态数据；根据多模态数据，将人物的多模态数据转换成统一格式；将转换后的多模态数据输入到第一多模态模型中；在第一多模态模型中所有数据同时进行训练，得到稳态扩散模型；将稳态扩散模型迁移到第二多模态模型中；先分别训练各个模块，再将他们重新组合成一个大的模型，即可用作生成不同风格
一种智能宇宙直播人物生成方法设备存储介质

[发明专利]RGB-D多模态语义分割方法-CN202310283961.7在审
发明人：陈光柱;茹青君;左汀玉 -专利权人：成都理工大学
申请日： 2023-03-22 - 公布日： 2023-08-15 - 主分类号： G06V10/26 文献下载
摘要：本发明针对RGB‑D语义分割中存在的多尺度问题和实时问题，提出了RGB‑D多模态语义分割方法。通过交换彩色图特征和深度图特征的查询向量，设计了自注意力多模态信息交互模块，实现了跨模态信息交互；并在此基础上设计了多模态通道注意力校正模块和多模态全局特征聚合模块。在主干网络对彩色图和深度图进行下采样后，多模态通道注意力校正模块在通道维度实现特征矫正，然后多模态全局特征聚合模块将矫正后的特征在空间维度实现特征聚合，最后输入特征金字塔解码器模块以进行最终的语义预测。本发明的有益效果是：有效解决不同场景中目标尺度差异大的问题、有效提升RGB‑D语义分割精度、可以同时保证RGB‑D语义分割的准确度和实时性的要求。
rgb 多模态语义分割方法

[发明专利]一种多模态数据采集传输通信方法-CN202310688852.3在审
发明人：林添如;李炜钦;黄鹏;王岗;孙平杰夫;马清华 -专利权人：深圳市桓健科技有限公司
申请日： 2023-06-12 - 公布日： 2023-08-29 - 主分类号： H04L67/12 文献下载
摘要：本发明涉及通信技术领域，且公开了一种多模态数据采集传输通信方法，包括以下步骤，S1、采集多模态数据；S2、设置各个模态的优先级排序；S3、采集数据的与服务器的对接；S4、传输过程的监管；S5、调整输出数据格式本发明通过配置的多模态数据采集管理中间件，适配目前主流的物联网设备，兼容绝大部分的物联网关和通信接口，简便了各种数据采集传输的复杂适配过程，一站式完成数据采集传输，且可进行多模态多通道的数据流优先级管理，适解决当下多模态传输过程低延迟、大带宽、高并发的问题，充分地使用带宽资源。
一种多模态数据采集传输通信方法

[发明专利]一种面向智能制造的多模态监控装置-CN202211292548.9在审
发明人：罗凯;李国喜;张萌;徐春晓;杨璇 -专利权人：中国人民解放军国防科技大学
申请日： 2022-10-21 - 公布日： 2023-01-10 - 主分类号： B60F5/02 文献下载
摘要：本发明提供了一种面向智能制造的多模态监控装置，通过将旋翼部件及行驶部件集成在一起，可以执行空中飞行监控模式和地面行走监控模式，针对大空间，能够转换为空中飞行模态，进行全局监控，在一些狭窄且低矮的场地，可以转换为地面行驶模式此外，该多模态监控装置由于在模态切换与动力耦合上指使用模态转换电机一个驱动源，减少了驱动源数量，降低了整体重量。
一种面向智能制造多模态监控装置

[发明专利]一种基于多模态预训练大模型的智能决策方法及系统-CN202310407938.4在审
发明人：刘应波;杜宇;刘应玲 -专利权人：云南元矩阵科技有限公司
申请日： 2023-04-17 - 公布日： 2023-07-25 - 主分类号： G06F18/214 文献下载
摘要：本发明公开一种基于多模态预训练大模型的智能决策方法及系统，该方法步骤包括：获取决策问题，通过预设的多模态预训练模型进行智能决策，生成决策结果，并保存决策案例；获取所述多模态预训练模型的决策案例，并构建决策标签数据；用于通过所述决策标签数据进行有监督训练，调整所述多模态预训练模型的模型参数；本发明将决策产生的案例作为训练标签数据对模型参数进行微调，有助于提高模型在特定案例类型中的决策能力。
一种基于多模态预训练模型智能决策方法系统

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
下一页»
尾页
共 100000 条