“内三模态”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果9540635个，建议您升级VIP下载更多相关专利

[发明专利]基于梯度调节的多模态情绪分析方法、装置、设备及存储-CN202211203956.2在审
发明人：王昊;杨明川;李伟;刘振华;秦芊 -专利权人：中国电信股份有限公司
申请日： 2022-09-29 - 公布日： 2022-12-20 - 主分类号： G06N20/00 文献下载
摘要：本公开提供了一种基于梯度调节的多模态情绪分析方法、装置、设备及存储，涉及人工智能、多模态情感分析技术领域。将三种情绪模态数据中的第一情绪模态数据当做第一训练集，进行动态梯度训练，确定第一参数；将三种情绪模态数据中的第二情绪模态数据当做第二训练集，进行动态梯度训练，根据第一参数确定第二参数；将三种情绪模态数据中的第三情绪模态数据当做第三训练集，进行梯度训练，根据第二参数确定第三参数，得到训练完成的多模态情绪分析模型。本公开根据不同模态流的不同信息进行梯度训练，使得模型在进行多模态数据训练时得以自适应地调节梯度，有效地解决了同时训练模态数据不平衡问题。
基于梯度调节多模态情绪分析方法装置设备存储

[发明专利]一种基于深度学习的多模态融合胰腺分割方法和系统-CN202010355337.X在审
发明人：李秀丽;曲太平;俞益洲 -专利权人：杭州深睿博联科技有限公司;北京深睿博联科技有限责任公司
申请日： 2020-04-29 - 公布日： 2020-09-15 - 主分类号： G06T7/10 文献下载
摘要：本发明提供了一种基于深度学习的多模态融合胰腺分割方法和系统，解决现有技术分割准确性较低的技术问题。方法包括：利用确定模态图像分割网络形成胰腺影像的确定模态三维图像；利用空间变换网络形成所述胰腺影像的变换场数据，通过所述变换场数据将所述确定模态三维图像转换为其他模态参考三维图像；利用所述确定模态图像分割网络形成所述胰腺影像的其他模态相似三维图像；通过融合所述参考三维图像和所述相似三维图像形成其他模态三维图像。实现了利用模态优化的图像分割网络和变换场数据获得其他多个模态的准确分割三维图像的快捷途经，形成的两种相关三维图像进行特征拟合和修正保证了本技术方案快速分割多模态影像结果的准确性。有效提高了多模态胰腺影像的分割效率。
一种基于深度学习多模态融合胰腺分割方法系统

[发明专利]一种移动柔性扫描机器人系统-CN202110580052.0在审
发明人：王鸿鹏;范崇山;韩霄;陈新伟 -专利权人：南开大学
申请日： 2021-05-26 - 公布日： 2021-09-07 - 主分类号： B25J11/00 文献下载
摘要：本发明提供一种移动柔性扫描机器人系统，包括移动平台模块、柔性机械臂模块、多模态扫描仪模块，所述移动平台模块为整个系统提供平面移动能力，且所述移动平台模块可在平面内任意移动，所述柔性机械臂模块安装在移动平台模块上，且所述柔性机械臂模块有多个运动自由度，为多模态扫描仪提供三维空间移动能力，所述多模态扫描仪模块安装在柔性机械臂末端，可获取空间的多个模态信息。本发明使用移动平台模块负载柔性机械臂模块和多模态扫描仪模块进行平面空间移动，使用柔性机械臂模块负载多模态扫描仪模块进行三维空间移动，能够实现多模态扫描仪模块的自主移动，使得扫描方式更加灵活。
一种移动柔性扫描机器人系统

[发明专利]一种基于Transformer和多任务学习的多模态情感分析方法及系统-CN202111194183.1在审
发明人：石磊;张琼安;徐连诚;刘培玉;朱振方 -专利权人：山东师范大学
申请日： 2021-10-13 - 公布日： 2022-02-25 - 主分类号： G06F40/30 文献下载
摘要：本发明提供了一种基于Transformer和多任务学习的多模态情感分析方法及系统。该方法包括，提取得到文本数据对应的第一模态、视频数据对应的第二模态和音频数据对应的第三模态；主任务：采用映射Transformer编码器，从三种模态中随机挑选两种模态，将挑选的两种模态映射到未被挑选的模态中，得到三个映射特征；采用Transformer解码器对三个映射特征进行处理，得到三个特征向量，将三个特征向量进行拼接，得到三模态融合特征；根据三模态融合特征预测主任务的情感极性；辅助任务：基于所述三个映射特征，依据设定的积极情感中心和消极情感中心，确定三个映射特征的标签，结合所述三个映射特征预测情感；基于主任务得到的情感极性和辅助任务得到的情感，得到情感分析结果。
一种基于 transformer 任务学习多模态情感分析方法系统

[发明专利]一种手指多模态特征融合方法-CN201510489669.6有效
发明人：杨金锋;仲贞;师一华;贾桂敏 -专利权人：中国民航大学
申请日： 2015-08-10 - 公布日： 2019-01-11 - 主分类号： G06K9/00 文献下载
摘要：一种手指多模态特征融合方法。其包括对手指三模态ROI图像进行Gabor滤波，获得幅度特征图像；利用定序滤波器对幅度特征图像进行编码，形成手指三模态GOM编码图像；对手指三模态GOM编码图像进行处理，形成手指三模态GOM特征编码图像；将手指三模态GOM特征编码图像进行分块形成第一至第三层分块图像；提取每一分块图像灰度特征，形成灰度特征向量；将单模态图像灰度特征直方图串联形成手指三模态灰度特征直方图；逐层计算两幅手指ROI图像中每层手指三模态灰度特征直方图欧式距离来判断这两幅手指本发明解决了在手指图像采集过程中手指姿态易变的问题，并且手指多模态识别的运算速度高、识别率高。
一种手指多模态特征融合方法

[发明专利]一种基于图网络与模态间特征融合的跨模态哈希方法-CN202310529537.6在审
发明人：吴飞;李帅帅;季一木;陈澍;蒋国平 -专利权人：南京邮电大学
申请日： 2023-05-11 - 公布日： 2023-09-19 - 主分类号： G06F16/31 文献下载
摘要：本发明公开了一种基于图网络与模态间特征融合的跨模态哈希方法包括，通过获取跨模态检索数据集；对训练数据集里文本和图像分别进行特征提取，通过孪生图卷积神经网络学习图像和文本模态的图表示；通过模态间特征融合模块生产层图像和文本模态的哈希码；引入余弦三元组损失，根据模态间鉴别损失函数、模态内鉴别损失函数、引导损失函数和量化损失函数训练网络；通过网络收敛，利用测试集的样本进行跨模态检索。本方法有效的联合利用图像和文本模态的深层特征，从而有效地减少模态差异，同时保持邻里关系，解决了过去跨模态哈希方法占存储空间大和检索速度慢的问题。
一种基于网络模态间特征融合跨模态哈希方法

[发明专利]一种基于三模态表征学习的用户属性检测方法-CN202211357140.5在审
发明人：宦若虹;钟国伟;梁荣华 -专利权人：浙江工业大学
申请日： 2022-11-01 - 公布日： 2023-02-03 - 主分类号： G06F16/35 文献下载
摘要：本发明公开了一种基于三模态表征学习的用户属性检测方法，获取用户文本、视觉和音频三个模态特征，分别通过一维卷积将三个模态特征映射到同一个特征空间，分别将得到的三个模态特征加入由正余弦函数构成的位置编码，将文本特征经过单模态然后将文本、视觉和音频特征分别经过两个三模态transformer编码器做跨模态交互，将两个三模态transformer编码器的输出进行拼接，得到多模态特征，然后将多模态特征经过GRU和全连接操作，输出用户属性预测值本发明克服单纯使用传统transformer编码器时模态信息交互不完全的问题，提高了用户属性检测的准确率。
一种基于三模态表征学习用户属性检测方法

[发明专利]一种基于晶体图结构的手指三模态融合识别方法及装置-CN202010841599.7有效
发明人：师一华;杨金锋;张海刚;赵子豪 -专利权人：深圳职业技术学院
申请日： 2020-08-19 - 公布日： 2023-06-27 - 主分类号： G06V40/70 文献下载
摘要：本发明公开了一种基于晶体图结构的手指三模态融合识别方法及装置。所述基于晶体图结构的手指三模态融合识别方法，包括：分别对获取的指纹特征图像、指静脉特征图像和指节纹特征图像进行结构化表达，得到第一特征图、第二特征图和第三特征图；根据所述第一特征图、所述第二特征图和所述第三特征图，构造手指三模态晶体图；将所述手指三模态晶体图输入基于图卷积神经网络建立的识别模型，得到识别结果。本发明能够考虑手指三模态之间的关系有效融合手指三模态特征图像，并基于图卷积神经网络构建的识别模型进行手指三模态识别，从而提高手指三模态的识别精度与稳定性。
一种基于晶体结构手指三模态融合识别方法装置

[发明专利]一种新型的多模态融合的行人重识别算法-CN202210190938.9在审
发明人：王晓嫚;崔前进 -专利权人：郑州大学
申请日： 2022-02-28 - 公布日： 2022-07-01 - 主分类号： G06V20/52 文献下载
摘要：本发明公开了一种新型的多模态融合的行人重识别算法，包括，获取含有RGB、NI和TI的三种模态的行人图像；将所述三种模态的行人图像输入预先训练的多模态融合行人重识别网络中，得到预测分类结果；基于多模态融合的行人重识别算法融合了三种模态的图像特征信息，其中每种模态的网络都引入了注意力模块，更好的提取图像特征信息，然后使不同的模态向着一个共同的方向学习，有效的抑制噪声，减小模态间差异，实现模态间信息的互补。通过跨模态的难样本三元组损失，使不同行人的样本能够跨模态的被拉开，相同行人的样本能够跨模态被拉近，有效的实现跨模态的特征聚类。该方法在行人重识别领域具有广阔的应用前景。
一种新型多模态融合行人识别算法

[发明专利]一种基于超混沌伪随机序列的加密域跨模态信息检索方法-CN202110819110.0有效
发明人：周亮;徐建博;匡雅鑫;索云飞;冶占远;魏昕 -专利权人：南京邮电大学
申请日： 2021-07-20 - 公布日： 2023-09-05 - 主分类号： G06F21/62 文献下载
摘要：本发明公开了一种基于超混沌伪随机序列的加密域跨模态信息检索方法，包括：预处理图像、音频、触觉信号三种模态；将预处理后的三种模态输入至构建的超混沌伪随机序列的加密系统中，分别进行行置乱、列置乱和像素值置换，得到三种模态的密文信息；利用预训练好的VGG16网络对三种模态的密文信息进行特征提取，并将三种模态在各自对应的分支网络中进行训练；将训练后的三种模态输入多模态语义融合网络中进行语义融合，检索其输出的结果本发明与传统的检索方法不同，考虑了图像、音频、触觉信号三种模态的跨模态信息检索，且本发明考虑到数据的信息安全问题，实现了加密域下的跨模态信息检索。
一种基于混沌随机序列加密域跨模态信息检索方法

[发明专利]基于互信息方法表示的多阶段多模态情感分析方法-CN202211465914.6在审
发明人：侯金鑫;李希城;徐明成;谢杰 -专利权人：天翼电子商务有限公司
申请日： 2022-11-22 - 公布日： 2023-03-28 - 主分类号： G06F16/33 文献下载
摘要：本发明提出了一种基于互信息方法表示的多阶段多模态情感分析方法，涉及人工智能领域。其包括通过原始多模态数据获取具有对应关系的文本、视觉和声音模态数据，并对原始多模态数据进行特征编码，得到模型输入特征；分别根据声音、语言和视觉不同模态的特点进行模态内高维特征提取；声音、语言、视觉和语言模态特征进行互信息最大化方法的多模态特征协同表示，得到模态间最大相关的特征表示；特征融合时采用一种新的融合网络结构用于不同模态间信息融合，对包含声音、文本和视觉特征的单模态、双模态和三模态间的相互作用分层次可调整化的建模。弥补各有关键信息丢失、噪声干扰和部分特征冗余等问题，提升多模态情感分析效果。
基于互信方法表示阶段多模态情感分析

[发明专利]一种基于自动编码器的视频分类方法及装置-CN201510290451.8有效
发明人：李睿凡;鲁鹏;芦效峰;周延泉;李蕾;袁彩霞;刘咏彬 -专利权人：北京邮电大学
申请日： 2015-05-29 - 公布日： 2018-09-14 - 主分类号： G06F17/30 文献下载
摘要：该方法中，获得具有三种模态数据的目标视频的每一种模态数据的低级表示内容；将每一种模态数据的低级表示内容分别输入至堆叠的自动编码器组处理，获得每一种模态数据的高级表示内容；将每两种模态数据的高级表示内容的组合结果分别输入至双模态融合器处理，获得相应两种模态数据的双模态公共表示内容；将双模态公共表示内容的组合结果输入至三模态融合器处理，获得三模态公共表示内容；将三模态公共表示内容输入至有监督分类模型处理，以获得各个视频类别的类别标签，并确定目标视频所对应的视频类别可见，通过本方案可以结合目标视频的三种模态数据对目标视频进行分类。
一种基于自动编码器视频分类方法装置

[发明专利]一种基于三元组语义分析的跨模态检索方法及系统-CN202210896293.0在审
发明人：董西伟;潘方;严军荣 -专利权人：三维通信股份有限公司
申请日： 2022-07-28 - 公布日： 2022-10-18 - 主分类号： G06F16/9532 文献下载
摘要：本发明公开了一种基于三元组语义分析的跨模态检索方法及系统，其方法包括步骤：根据训练数据集构建模态内三元组和跨模态三元组；基于模态内三元组和跨模态三元组构建目标函数并求解目标参数；基于目标参数获取查询样本和检索样本集中样本的特征；计算查询样本到检索样本集中各个样本的距离并使用跨模态检索器检索查询样本。本发明解决了相关技术中不能充分地挖掘模态内部鉴别特征和消减不同模态间异质差异而导致的跨模态检索效率下降问题。
一种基于三元语义分析跨模态检索方法系统

[发明专利]基于上下文引导多模态关联的图像文本检索方法及系统-CN202310728307.2在审
发明人：刘峥;裴新蕾;高珊珊;迟静;王靖瑶;李常浩;徐君豪 -专利权人：山东财经大学
申请日： 2023-06-19 - 公布日： 2023-09-12 - 主分类号： G06F16/583 文献下载
摘要：本公开提供了基于上下文引导多模态关联的图像文本检索方法及系统，涉及跨模态图文互检索技术领域，方法包括获取不同模态图像和文本数据的细粒度特征序列；构建上下文引导多模态关联学习网络，分别获取图像模态的区域空间性增强的视觉上下文感知表示和文本模态的单词时序性增强的文本上下文感知表示；构建上下文引导多模态关联三分支，对不同语义层面的上下文感知表示进行跨模态相似度学习，利用向量型相似函数学习跨模态关联，设计目标函数，基于联合学习语义一致性损失函数和跨模态匹配损失函数分别实现模态内不同语义层面的互补和不同模态数据之间的语义精准对齐；本公开能够实现不同模态之间的精准对齐。
基于上下文引导多模态关联图像文本检索方法系统

[发明专利]两栖三模态机器人的滚动与飞行模态切换控制优化方法-CN202210736759.0在审
发明人：常青;李陈;赵小川;李柯莹;詹金豪;邵佳星;史津竹;于彪;冯运铎;燕琦;樊迪;董忆雪 -专利权人：天津商业大学;中国兵器工业计算机应用技术研究所
申请日： 2022-06-27 - 公布日： 2022-09-06 - 主分类号： G06F30/15 文献下载
摘要：本发明涉及一种两栖三模态机器人的滚动与飞行模态切换控制优化方法，属于两栖机器人技术领域，解决了现有技术中机器人难以在建筑复杂空间上有效发挥作用的问题。本发明中所述两栖三模态机器人在所述滚动模态和所述飞行模态切换过程中包括三轮支撑相、单轮两机臂支撑相和单轮支撑相三种相位，所述方法步骤包括：步骤1：对三轮支撑相下的两栖三模态机器人进行动力学建模分析；步骤2：对单轮两机臂支撑相下的两栖三模态机器人进行动力学建模分析；步骤3：对单轮支撑相下的两栖三模态机器人进行动力学建模分析；步骤4：根据步骤1～步骤3的分析结果，获取两栖三模态机器人的滚动模态和飞行模态切换过程数据
两栖三模态机器人滚动飞行切换控制优化方法