“多模态信息融合”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果3135035个，建议您升级VIP下载更多相关专利

[发明专利]一种用于自然手势识别的多模态混合融合方法及其应用-CN202210920974.6在审
发明人：陈勋;段声才;吴乐;刘爱萍 -专利权人：中国科学技术大学
申请日： 2022-08-02 - 公布日： 2022-10-18 - 主分类号： G06V40/70 文献下载
摘要：本发明公开了一种用于自然手势识别的多模态混合融合方法及其应用，该方法包括：1获取多模态数据，对多模态信号进行预处理和特征提取；2构建多模态信号混合融合模型，联合前期融合、多尺度层级特征融合和后期融合等方式使模型能同时学习单一模态的特异性信息和多模态间的交互信息；3设计多尺度空间注意力模块，通过融合多尺度层级特征来充分挖掘输入信号的关键信息；4设计度量学习损失函数，增强模型对相似手势的辨别能力；5训练多模态混合融合模型，获得最优的自然手势识别模型。
一种用于自然手势识别多模态混合融合方法及其应用

[发明专利]一种基于多模态深度学习的多源遥感降雨数据融合方法-CN202210684570.1有效
发明人：邹磊;窦明;沈建明;张彦;刘成建 -专利权人：中国科学院地理科学与资源研究所
申请日： 2022-06-17 - 公布日： 2022-11-08 - 主分类号： G06K9/62 文献下载
摘要：本发明公开了一种基于多模态深度学习的多源遥感降雨数据融合方法，包括：步骤一：搜集研究区数据；步骤二：数据预处理；步骤三：基于多模态深度学习方法构建多源遥感降雨数据融合模型；步骤四：多源降雨数据融合效果评估本发明所述方法可以有效捕捉不同遥感降雨数据的多模态信息特征，包括图像栅格空间模态、数据矩阵模态以及时间序列模态的数据特征，利用多模态之间的互补性，剔除模态间的冗余性，进而获取更加有用的遥感降雨数据变化特征同时，本发明基于多种深度学习算法融合多模态信息特征，具有更强的泛化能力，可处理和关联来自多种模态信息特征，进而融合获取更高精度的降雨数据，对于我国旱涝灾害预报预警、水资源合理开发与可持续利用等关键问题均具有重要意义
一种基于多模态深度学习遥感降雨数据融合方法

[发明专利]心理评估方法、装置、设备及存储介质-CN202310920851.7在审
发明人：江云凯;胡加学;赵景鹤;贺志阳;鹿晓亮;王士进;魏思;胡国平;甘露 -专利权人：讯飞医疗科技股份有限公司
申请日： 2023-07-24 - 公布日： 2023-10-24 - 主分类号： G16H50/30 文献下载
摘要：本申请公开了一种心理评估方法、装置、设备及存储介质，本申请获取受测者的多模态交互信息，其中包括文本模态的交互信息，以及其它非文本模态的交互信息，如语音模态、视频模态的交互信息，本申请还配置了多模态知识图谱，多模态知识图谱中至少部分节点包含两种以上模态的心理学知识信息，通过多模态知识图谱可以丰富对心理学知识的表示，进一步对获取的受测者的多模态交互信息中每一种模态的交互信息进行编码及特征融合，得到融合后多模态特征，获取多模态知识图谱的表示特征，基于融合后多模态特征和多模态知识图谱的表示特征进行交互式推理，可以得到受测者的心理状态的评估结果，提升了心理评估结果的准确性。
心理评估方法装置设备存储介质

[发明专利]一种学习参与度识别方法、装置、设备及可读存储介质-CN202210367286.1在审
发明人：潘杰;栾春;谢德仁;杜伟;张雨辰 -专利权人：山东师范大学
申请日： 2022-04-08 - 公布日： 2022-08-19 - 主分类号： G06V10/80 文献下载
摘要：本申请提供了一种学习参与度识别方法、装置、设备及可读存储介质，涉及多模态情感识别技术领域，包括：对获取的视频样本进行预处理，提取出多个模态下的单模态特征；将多个模态下的单模态特征进行特征融合，得到多模态融合特征；多模态融合特征经过全连接层降低维度并进行预测，得到多模态输出值；单模态特征映射到低维空间中，再运用线性回归得到单模态输出值；将单模态输出值和多模态输出值按照预设权重加权求和，得到融合输出值；基于多模态输出值、单模态输出值和融合输出值，确定用户的学习参与度，这样，通过联合多模态信息和单模态信息，将提取出的单模态特征映射到低维空间，再单独训练模型，可以提高学习参与度的识别准确率。
一种学习参与识别方法装置设备可读存储介质

[发明专利]一种基于街景图像多模态信息的建筑物分类方法-CN202310953601.3在审
发明人：田盼盼;方芳;李圣文;康家宁;刘洋 -专利权人：中国地质大学（武汉）
申请日： 2023-07-31 - 公布日： 2023-10-27 - 主分类号： G06V10/764 文献下载
摘要：本发明公开了一种基于街景图像多模态信息的建筑物分类方法，所述方法基于SVI全局视觉信息、局部视觉信息、招牌文本等多种模态信息，采用图神经网络实现多模态信息推理，实现城市建筑物单体功能自动分类。该方法首先通过招牌文本知识图谱获取文本信息，然后对文本信息和局部视觉进行多模态推理，最后融合全局视觉信息实现建筑物功能分类。本发明通过构建招牌文本知识图谱和多模态推理图，融合SVI多模态信息，克服现有技术中对SVI蕴含信息利用不充分的问题。对SVI多模态信息的充分利用和有效融合使得建筑物分类的精度得到了有效提升。
一种基于街景图像多模态信息建筑物分类方法

[发明专利]医用人机交互辅助系统及含该程序的计算机可读存储介质-CN202010691420.4在审
发明人：张立华;谢媛媛;杜洋涛;董志岩 -专利权人：复旦大学
申请日： 2020-07-17 - 公布日： 2020-10-27 - 主分类号： G06K9/62 文献下载
摘要：一种医用人机交互辅助系统，包括处理器、存储器和若干传感器，还包括执行如下步骤的程序：由所述传感器输入多模态传感信息；对多模态传感信息进行融合计算，获得融合后的多模态信息；对获取的多模态信息进行语义理解和分析还包括若干分布式设备，多模态信息融合后，将融合的多模态信息分配给所述分布式设备进行分布式边缘计算。本发明为现今医疗行业提供一个模态丰富且高效的边缘智能终端。
医用人机交互辅助系统程序计算机可读存储介质

[发明专利]一种面向机器人的多模态融合情感计算方法及系统-CN201810813473.1有效
发明人：佘莹莹;陈锦;舒杨 -专利权人：厦门大学
申请日： 2018-07-23 - 公布日： 2021-12-14 - 主分类号： G06K9/00 文献下载
摘要：本发明提供一种面向机器人的多模态融合情感计算方法，包括：获取得到多模态信息，通过实时捕捉与机器人交互的人的语言信息以及非语言信息；构建不同信息的处理通道进行特征分类与识别，包括语言信息和非语言信息的特征分类与识别；对多模态信息进行处理，通过PAD模型与OCC模型将信息映射到PAD三维空间上；对各个模态信息在决策层融合时进行时序对齐，进行基于时序的情感维度空间的计算。本发明还提供一种面向机器人的多模态融合情感计算系统，通过获取用户的多模态信息，包括非语言与语言信息，使用PAD模型、OCC模型，以及线性回归模型分别对语言信息和非语言信息进行融合之后，再使用线性回归模型进行最终融合
一种面向机器人多模态融合情感计算方法系统

[发明专利]基于对比学习的多模态意图识别方法及系统-CN202310256990.4在审
发明人：刘志中;吴宇轩;初佃辉;孟令强;孙宇航 -专利权人：烟台大学
申请日： 2023-03-14 - 公布日： 2023-06-23 - 主分类号： G06F18/25 文献下载
摘要：本发明属于意图识别技术领域，提供了基于对比学习的多模态意图识别方法及系统，首先，与以往的工作相比，改进了跨模态Transformer模型，通过最大化多模态特征与标签之间的互信息以及最小化多模态特征与输入之间的互信息的方式过滤掉单模态表示中的噪声信息实现多模态特征的充分融合，改进后的模型减少了多模态融合过程中的冗余信息，增大了有效信息占比，更有利于多模态特征的充分融合。其次，针对用于训练的标记数量不足的问题，引入了对比学习的学习任务，通过数据增强获得增强样本，原始样本与增强样本之间拉近相似样本，推远不同样本，帮助模型在训练过程中学习到更多意图相关的特征，提高模型提取和融合多模态数据特征的能力
基于对比学习多模态意图识别方法系统

[发明专利]一种基于多模态临床诊疗数据的病情分析系统-CN202211509298.X在审
发明人：张立华;余豪文;李明程;王顺利;苏柳桢;陈嘉伟;王帅兵;卢宇蓝 -专利权人：复旦大学
申请日： 2022-11-29 - 公布日： 2023-04-04 - 主分类号： G16H50/70 文献下载
摘要：本发明涉及一种基于多模态临床诊疗数据的病情分析系统，包括病历信息提取单元、视频采集单元、影像数据采集单元、特征提取单元，多模态融合单元、病情分类单元和在线学习单元；病历信息提取单元用于提取患者的医疗信息；视频采集单元用于采集患者就诊视频；影像数据采集单元用于采集患者影像数据；特征提取单元用于提取多模态数据特征；多模态融合单元将多模态数据特征进行融合，得到多模态融合特征；病情分类单元基于多模态融合特征，输出病情分类；在线学习单元基于医疗信息、就诊视频及影像数据，更新网络模型参数，实现模型在线学习。与现有技术相比，本发明提高了病情分析的正确率，解决了病情识别正确率低和信息挖掘程度不深的问题。
一种基于多模态临床诊疗数据病情分析系统

[发明专利]基于多模态融合的智能应答方法、装置、机器可读介质及设备-CN202011499081.6在审
发明人：苏磊 -专利权人：云从科技集团股份有限公司
申请日： 2020-12-17 - 公布日： 2021-03-19 - 主分类号： G06F16/33 文献下载
摘要：本发明公开了一种基于多模态融合的智能应答方法，包括：获取人机交互场景下的问答信息，所述问答信息包括图像信息和文本信息；对图像信息和文本信息进行特征提取，得到图像特征信息和文本特征信息；将所述图像特征信息与文本特征信息进行融合，得到融合模态数据信息；对所述融合模态数据信息进行特征提取并对提取的预测文本答句矩阵进行转换，得到目标文本答句。本发明利用多模态的特征在人机交互场景中进行问句答句的预测，有利于信息的完整性、不同模态之间的信息互补以及在后续的生成模型中学习单独模态的信息重要度和模态信息间的关系，并且融合多模态的信息使得人机交互系统能够生成更加完整
基于多模态融合智能应答方法装置机器可读介质设备

[发明专利]基于多模态时序信息融合的工程进度确定方法及装置-CN202310788030.2有效
发明人：林兰芬;王弘毅;孙浩;石钟韶;徐宏 -专利权人：杭州新中大科技股份有限公司;浙江大学;杭州浩联智能科技有限公司
申请日： 2023-06-30 - 公布日： 2023-10-20 - 主分类号： G06Q10/0631 文献下载
摘要：本发明实施例公开了一种基于多模态时序信息融合的工程进度确定方法及装置。其中，方法包括：获取当前工程进度信息，以及与各所述工程进度信息对应的历史工程进度信息；分别根据各所述当前工程进行信息，以及与各所述当前工程进度信息对应的历史工程进度信息确定各时序工程特征；将各所述时序工程特征输入至基于维度解耦的多模态融合模块中，得到融合后的多模态时序信息；根据所述融合后的多模态时序信息确定当前工程进度。本发明实施例的方案，可以基于施工现场的多模态信息进行工程进度的准确确定。
基于多模态时序信息融合工程进度确定方法装置

[发明专利]一种基于语义信息量的多模态数据融合方法及应用-CN202211123886.X在审
发明人：华蓓;董寅灏;宋骐 -专利权人：中国科学技术大学
申请日： 2022-09-15 - 公布日： 2022-12-13 - 主分类号： G06K9/62 文献下载
摘要：本发明公开了一种基于语义信息量的多模态数据融合方法及应用，该方法包括：1、构建多模态数据集合，2、计算多模态数据集合中各样本模态的语义信息量，3、构建基于语义信息量的多模态数据融合模型，4、模型训练。本发明能定量刻画多模态数据样本内容与语义标签的一致性程度，从而能使得多模态数据融合的过程具有一定的可解释性，解决多模态数据标注过程中引入的样本数据内容与语义标签不一致的问题。
一种基于语义信息量多模态数据融合方法应用

[发明专利]生猪行为自动监测系统及方法-CN201310182416.5有效
发明人：杨颖;高万林;孙瑞志;郑丽敏 -专利权人：中国农业大学
申请日： 2013-05-16 - 公布日： 2013-08-14 - 主分类号： H04L29/08 文献下载
摘要：所述系统包括多模态信息采集模块、多模态信息融合模块和行为识别模块：多模态信息采集模块通过摄像机采集生猪养殖的视频信息，并通过传感器采集生猪个体的时序运动信息，然后将采集的多模态信息发送给多模态信息融合模块；多模态信息融合模块将视频信息与时序运动信息进行对齐同步，获得每个生猪个体的多模态信息，然后进行特征抽取，将每个生猪个体的多模态特征发送给行为识别模块；行为识别模块识别出每个生猪个体的静态行为或动态行为
生猪行为自动监测系统方法

[发明专利]基于文本主驱动的学习者多模态情感分析方法及装置-CN202210776860.9在审
发明人：黄昌勤;张俊玲;李明;吴雪梅;蒋凡;涂雅欣 -专利权人：浙江师范大学
申请日： 2022-07-04 - 公布日： 2022-11-04 - 主分类号： G06V40/16 文献下载
摘要：本申请公开了一种基于文本主驱动的学习者多模态情感分析方法及装置，本申请提取在线课堂中有学生相关情感信息嵌入的多模态数据；对于文本模态的数据，利用语言表征预训练模型BERT进行特征提取；对于音频和视觉模态的数据，利用LSTM来进行特征提取；利用跨模态注意力机制融合多模态信息，输出多模态特征融合的最终结果；根据最终融合结果进行情感分析。利用对比学习技术促进单模态特征编码质量，维持任务相关的模态数据独特性，保证多模态融合结果充分学习课堂中产生的多种模态数据的独特情感信息，提升在线学习环境中学习者的参与度，从而促进教学质量。
基于文本驱动学习者多模态情感分析方法装置

[发明专利]多通道整合网络的多模态医学图像融合方法及系统-CN202310359312.0在审
发明人：李小松;黄敬学;于昕梅;谭海曙;程晓琦;王晓磐 -专利权人：佛山科学技术学院
申请日： 2023-04-06 - 公布日： 2023-07-14 - 主分类号： G06T5/50 文献下载
摘要：本发明公开了多通道整合网络的多模态医学图像融合方法及系统，该方法包括：获取待融合的多模态医学图像；引入密集残差块，构建多尺度多通道图像融合网络模型；将待融合的多模态医学图像输入至多尺度多通道图像融合网络模型进行融合处理，输出融合后的多模态医学图像。该系统包括：获取模块、构建模块和融合模块。通过使用本发明，通过将原始多模态医学图像中的不同和互补信息融合到一个图像中，实现更好的图像融合结果。本发明作为多通道整合网络的多模态医学图像融合方法及系统，可广泛应用于图像处理技术领域。
通道整合网络多模态医学图像融合方法系统