“多模态多”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果1131787个，建议您升级VIP下载更多相关专利

[发明专利]基于深度学习和多模态图像的缺陷检测方法及相关装置-CN202310493983.6在审
发明人：请求不公布姓名 -专利权人：中科超睿（青岛）技术有限公司
申请日： 2023-04-28 - 公布日： 2023-08-01 - 主分类号： G06V10/80 文献下载
摘要：并且，建立固定图像、配准图像和融合图像组成的多模态检测数据集。构建多模态目标检测网络，并通过多模态检测数据集对多模态目标检测网络进行训练，其中多模态目标检测网络包括特征提取模块、特征融合模块和检测模块。将多模态检测数据集输入训练后的多模态目标检测网络中，以输出结果作为缺陷检测结果。本发明以多种图像作为样本，训练多模态目标检测网络，提高了无损检测的分析精度。
基于深度学习多模态图像缺陷检测方法相关装置

[发明专利]一种基于多模态分析的报告生成方法、计算机设备及介质-CN202310546630.8在审
发明人：辛浩 -专利权人：北京遇谷科技有限公司
申请日： 2023-05-15 - 公布日： 2023-09-12 - 主分类号： G06F18/25 文献下载
摘要：本申请提供了一种基于多模态分析的报告生成方法，通过摄像头采集观测对象的多模态数据；将所述多模态数据输入多模态计算模型，并利用所述多模态计算模型对所述多模态数据中的待验证人脸信息、待验证行为信息以及待验证痕迹信息进行对比分析通过上述方式，本发明利用训练好的多模态计算模型对观测对象的多模态数据进行对比分析，得到可信的个人行为观测结果，解决了个人行为分析过程中准确性低、效率低等问题。
一种基于多模态分析报告生成方法计算机设备介质

[发明专利]一种评估视频会议质量的方法、装置及计算机可读介质-CN202110536988.3有效
发明人：曹亚曦;许磊 -专利权人：浙江华创视讯科技有限公司
申请日： 2021-05-18 - 公布日： 2021-08-03 - 主分类号： H04N17/00 文献下载
摘要：该方法包括：获取视频会议的多模态数据，多模态数据至少包括两种模态数据；对多模态数据分别进行编码处理，生成多模态表示；对多模态表示进行拼接处理或加和处理，生成融合向量；将融合向量作为训练样本，利用多个训练样本进行模型训练，生成评估模型；获取视频会议的待测多模态数据；利用评估模型对待测多模态数据进行预测，生成质量评估结果。
一种评估视频会议质量方法装置计算机可读介质

[发明专利]一种多模态医疗数据湖构建方法及系统-CN202211436205.5有效
发明人：陈一超;车涛锋;刘士懂;王磊;张伯慧;李云锋;弓孟春;史文钊 -专利权人：神州医疗科技股份有限公司
申请日： 2022-11-16 - 公布日： 2023-02-28 - 主分类号： G16H10/00 文献下载
摘要：本发明提供了一种多模态医疗数据湖构建方法及系统，该方法包括：S1：获取临床数据，并汇聚进入数据湖中；S2：获取影像、病理以及基因的医疗多模态数据，并形成影像、病理以及基因数据文件；S3：根据患者信息和就诊信息，将临床数据与影像、病理以及基因数据文件进行整合，构建DHCDM多模态模型。本发明所提供的一种多模态医疗数据湖构建方法及系统，将医疗临床数据与医疗多模态数据进行整合，兼容多种格式的医疗数据，并形成多模态医疗模型，进而能够通过多模态平台对医疗多模态数据进行分析和处理，且模型具备伸缩性强
一种多模态医疗数据构建方法系统

[发明专利]一种融合多级语义信息的多模态讽刺识别系统方法-CN202110919005.4在审
发明人：廖祥文;翁钰震;魏冬春;吴君毅;何佳 -专利权人：福州大学
申请日： 2021-08-11 - 公布日： 2021-11-12 - 主分类号： G06F40/30 文献下载
摘要：本发明提出一种融合多级语义信息的多模态讽刺识别系统方法，所述方法通过融合多级语义信息来分析多模态数据，然后以讽刺识别模块来判别多模态数据中是否存在讽刺感；在生成多模态数据时，以特征提取模块提取图文数据的特征表示及图文数据的中级语义信息，以图文融合模块融合图文数据的特征表示并提取产生讽刺感的图文片段，以语义融合模块融合图文数据的中级、高级语义信息；本发明能够提取图文模态数据的特征表示及图文数据中的中级语义信息，通过注意力机制融合多模态数据，并关联图文模态的中级语义，分析多模态数据中是否存在讽刺感。
一种融合多级语义信息多模态讽刺识别系统方法

[发明专利]一种用于多视图数据的图像去噪方法及其相关装置-CN202111425765.6在审
发明人：孙庆恭;沈新平;黄成捷;贾玲;吴金械 -专利权人：南方电网科学研究院有限责任公司;中国南方电网有限责任公司
申请日： 2021-11-26 - 公布日： 2022-01-11 - 主分类号： G06T5/00 文献下载
摘要：本申请公开了一种用于多视图数据的图像去噪方法及其相关装置，通过无噪声多视图数据训练第一多模态玻尔兹曼机模型，使得第一多模态玻尔兹曼机模型学习无噪声多视图数据中各视图数据的统一特征表示和私有特征表示；根据有噪声多视图数据中的噪声视图数据和训练好的第一多模态玻尔兹曼机模型的模型参数对第二多模态玻尔兹曼机模型的模型参数进行初始化；通过初始化后的第二多模态玻尔兹曼机模型学习有噪声多视图数据中的噪声结构，得到训练好的第二多模态玻尔兹曼机模型，通过训练好的第二多模态玻尔兹曼机模型进行图像去噪，改善了现有技术仅针对某一视图去噪，无法建模多视图数据间的关联性
一种用于视图数据图像方法及其相关装置

[发明专利]业务处理的方法、网络设备及计算机可读存储介质-CN202110950354.2在审
发明人：刘爱华 -专利权人：中兴通讯股份有限公司
申请日： 2021-08-18 - 公布日： 2023-04-04 - 主分类号： H04J3/16 文献下载
摘要：本发明提供了一种业务处理的方法、网络设备及计算机可读存储介质，方法包括：从入向第一单模态传输端点获取第一业务流，并确定第一业务流的第一网络模态；入向第一单模态传输端点为多个单模态传输端点之一；根据第一网络模态确定第一业务流对应的第一多模态复用资源对象，通过第一多模态复用资源对象的入向第一多模态复用端点和第一多模态转发矩阵将第一业务流转发到出向第二多模态复用端点，以由出向第二多模态复用端点将第一业务流转发给下一跳端点，下一跳端点为入向第三多模态复用端点或者出向第二单模态传输端点
业务处理方法网络设备计算机可读存储介质

[发明专利]一种基于联邦学习的多模态生物特征识别方法-CN202310944402.6在审
发明人：康文雄;陈光;连枫钊;黄俊端;杨伟利 -专利权人：华南理工大学
申请日： 2023-07-31 - 公布日： 2023-08-29 - 主分类号： G06V40/70 文献下载
摘要：本发明涉及数据融合处理技术领域，提供了一种基于联邦学习的多模态生物特征识别方法。各个参与方利用自身训练数据对初始模型训练后形成本地初始模型；服务器将个各模型的参数进行聚类，抽取每一簇内的多个参与方，参与方利用本地数据训练本地初始模型，将本地初始模型与服务方簇内的模型进行参数汇聚；服务方对同模态模型组按照不同的模态进行融合生成可互补多模态模型组；服务方将可互补多模态模型组的多模态模型互补的发送到参与方，同时将同模态模型发互补的发给参与方；参与方采用多模态模型分数融合的方法，将本地初始模型、同模态模型和多模态模型进行融合形成参与方所需的多模态融合模型
一种基于联邦学习多模态生物特征识别方法

[发明专利]基于深度学习的跨模态主题相关性建模方法-CN201610099438.9有效
发明人：张玥杰;程勇;刘志鑫;金城;张涛 -专利权人：复旦大学
申请日： 2016-02-23 - 公布日： 2019-05-03 - 主分类号： G06F16/93 文献下载
摘要：本发明属于跨媒体相关性学习技术领域，具体为基于深度学习的跨模态主题相关性建模方法。本发明包括两个主要算法：基于深度词汇的多模态文档表示，融合跨模态主题相关性学习的关系主题模型建模。本发明利用深度学习技术来构造深度语义词汇和深度视觉词汇来分别描述多模态文档中的语义描述部分和图像部分。基于这样的多模态文档表示，通过构建跨模态关系主题模型来对整个多模态文档集合进行建模，从而对多模态文档的生成过程和不同模态之间的关联进行描述。本方法准确性高，适应性强。这对于在大规模多模态文档（文本加图像）基础上，考虑多模态语义信息而进行高效跨媒体信息检索具有重要的意义，能够提高检索相关性，增强用户体验，在跨媒体信息检索领域具有广泛的应用价值。
基于深度学习跨模态主题相关性建模方法

[发明专利]一种多模态数据检索方法、系统、终端及存储介质-CN202010922939.9在审
发明人：王硕;吴振宇;王建明 -专利权人：平安科技（深圳）有限公司
申请日： 2020-09-04 - 公布日： 2020-12-01 - 主分类号： G06F16/432 文献下载
摘要：本发明公开了一种多模态数据检索方法、系统、终端及存储介质。所述方法包括：获取历史多模态数据，所述历史多模态数据至少包括图片数据和文本数据；根据所述历史多模态数据训练跨模态检索模型；所述跨模态检索模型至少包括图片模态检索模型和文本模态检索模型；将待检索数据输入所述跨模态检索模型，所述跨模态检索模型通过所述图片模态检索模型和文本模态检索模型分别对所述待检索数据进行检索，得到所述待检索数据的相似数据文件候选集，并对所述相似数据文件候选集进行相似度排序，得到与所述待检索数据相似度最高的数据文件本发明能够很好地对图片、文本等多模态数据进行检索，提高了检索准确性以及检索效率。
一种多模态数据检索方法系统终端存储介质

[发明专利]基于文本指导的层级自适应融合的多模态情感分析方法-CN202210743773.3在审
发明人：郭军军;卢婵 -专利权人：昆明理工大学
申请日： 2022-06-28 - 公布日： 2022-08-30 - 主分类号： G06F16/903 文献下载
摘要：本发明涉及基于文本指导的层级自适应融合的多模态情感分析方法，属于自然语言处理领域。发明包括：首先分别提取文本、语音、视觉三种模态特征，然后采用跨模态注意力机制以文本模态信息为指导实现两两模态之间的表征，获取文本密切相关的语音特征和视觉特征；然后采用多模态自适应门控机制使用模态相关特征对三种单模态特征进行有效筛选，获取三种模态特有特征；接着采用多模态层级融合策略综合多模态特征和模态重要信息；最后输出使用线性变换去预测情感极性。实验结果表明本发明对多模态情感分析性能的提升是有效的。
基于文本指导层级自适应融合多模态情感分析方法

[发明专利]一种基于哈希算法和邻域图的跨模态检索方法及装置-CN202011224930.7在审
发明人：杜翠凤;蒋仕宝;孙广波;朱春荣 -专利权人：广州杰赛科技股份有限公司;广州杰赛通信规划设计院有限公司
申请日： 2020-11-05 - 公布日： 2021-01-08 - 主分类号： G06F16/53 文献下载
摘要：本发明公开了一种基于哈希算法和邻域图的跨模态检索方法及装置，检索方法包括：获取多模态原始样本，对多模态原始样本经过特征变换前后得到的残差值进行最小化处理，得到最小化残差值；根据协同矩阵分解方法学习多模态原始样本之间的潜在关联，并根据潜在关联计算得到多模态原始样本的模态间的语义一致性；采用邻域图的流行学习，计算得到多模态原始样本的模态内的语义一致性；将最小化残差值、模态间的语义一致性和模态内的语义一致性，结合避免过度拟合的正则化计算得到目标函数本发明实施例通过综合考虑多模态的全局特征和模态间的局部特征，计算得到用于跨模态检索的目标函数，以实现提高跨模态检索的全面性和准确性。
一种基于算法邻域跨模态检索方法装置

[发明专利]基于儿童专用智能设备的教育与娱乐结合方法及系统-CN201910503243.X在审
发明人：俞志晨;郭家 -专利权人：北京光年无限科技有限公司
申请日： 2019-06-11 - 公布日： 2019-10-18 - 主分类号： G09B7/02 文献下载
摘要：本发明提供基于儿童专用智能设备的教育与娱乐结合方法，其包含：用户通过儿童专用智能设备客户端输入多模态数据，多模态数据与问题数据对应；儿童专用智能设备将多模态数据传输至云端进行解析，获取多模态数据与问题数据的匹配结果；将匹配结果返回至儿童专用智能设备；儿童专用智能设备客户端对匹配结果输出虚拟奖励多模态数据。本发明提供的儿童专用智能设备，具备问答学习功能，向用户输出问题数据，接收输入的多模态数据，将多模态数据传输至云端进行解析，得到匹配结果，输出匹配结果对应的虚拟奖励多模态数据。
多模态数据儿童专用智能设备匹配结果问题数据儿童用户客户端云端解析虚拟儿童娱乐接收输入输出匹配学习功能用户输出传输儿童教育碎片化奖励娱乐正向返回教育输出学习

[发明专利]数字人应用系统、应用方法、计算机设备以及存储介质-CN202111149228.3在审
发明人：鲁进;刘益云;章驰;李锋 -专利权人：上海浦东发展银行股份有限公司
申请日： 2021-09-29 - 公布日： 2022-01-11 - 主分类号： G06F16/958 文献下载
摘要：通过获取多模态交互请求，并将多模态交互请求通过WebSocket协议透传发送至对应的数字人服务端，接收数字人服务端返回的渲染播放内容，进而将渲染播放内容透传发送给对应的H5页面。由于在多模态交互过程中的数据采集、处理以及传输等均使用原生实现，因此，可以更好地完成对多模态中的音视频信号的处理，为多模态音视频交互提供了必要支撑；又由于多模态信号的融合与处理，通过后端服务完成，从而保证了采用Hybrid架构实现多模态音视频交互的性能，摆脱了对特定硬件资源、平台的限制，能够给用户提供耳目一新的多模态音视频交互体验。
数字应用系统方法计算机设备以及存储介质

[发明专利]一种基于多模态卷积神经网络的情绪识别方法-CN202111403467.7在审
发明人：戴紫玉;马玉良;张卫;佘青山;席旭刚 -专利权人：杭州电子科技大学
申请日： 2021-11-24 - 公布日： 2022-04-08 - 主分类号： A61B5/16 文献下载
摘要：本发明公开了一种基于多模态卷积神经网络的情绪识别方法。多模态卷积神经网络由多尺度卷积核卷积神经网络(MLCNN)和长短时记忆网络(LSTM)两大部分组成，多模态卷积神经网络用于对提取了微分熵(DE)特征的脑电信号进行二次特征提取，LSTM网络用于提取眼动信号的时序特征实验结果显示，多模态信号相对于单模态信号有更高的情绪分类准确率，基于6通道脑电信号和眼动信号的多模态信号情绪四分类平均准确率达到97.94%；且在跨会话稳定性实验中，多模态信号取得了96.32%的准确率，验证了多模态卷积神经网络的跨会话相对稳定性和有效。
一种基于多模态卷积神经网络情绪识别方法