“单模态”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果41544个，建议您升级VIP下载更多相关专利

[发明专利]单模态人脸识别及模型训练方法、电子设备及存储介质-CN202210438792.5在审
发明人：魏梦;陈智超;朱海涛;户磊 -专利权人：合肥的卢深视科技有限公司
申请日： 2022-04-25 - 公布日： 2022-08-16 - 主分类号： G06V40/16 文献下载
摘要：本发明实施例涉及人脸识别领域，公开了一种单模态人脸识别及模型训练方法、电子设备及存储介质，其中模型训练方法包括：将人脸的多模态数据样本输入至多模态识别模型得到多模态人脸特征；将多模态数据样本中任一指定模态的单模态数据样本输入至单模态识别模型得到单模态人脸特征；以多模态识别模型为教师模型、单模态识别模型为学生模型，基于由每两个多模态人脸特征的特征向量间的距离、以及由每两个单模态人脸特征的特征向量间的距离构建损失，对单模态识别模型进行训练。本方案能够在多模态识别模型和单模态识别模型输出的人脸特征向量维度不一致的情况下，实现多模态多维度特征到单模态单维度特征的压缩，提升单模态小规模模型的识别性能。
单模态人脸识别模型训练方法电子设备存储介质

[发明专利]一种数据增强方法、装置、设备及存储介质-CN202110913888.8在审
发明人：梁涛 -专利权人：腾讯科技（深圳）有限公司
申请日： 2021-08-10 - 公布日： 2023-02-17 - 主分类号： G06F18/214 文献下载
摘要：本申请实施例提供了一种数据增强方法、装置、设备及存储介质，涉及人工智能技术领域，在该方法中，将第一综合模态数据集合划分为至少两个不同模态的单模态数据集合，每个第一综合模态数据包括至少两个不同模态的单模态数据然后针对每个第一综合模态数据，确定第一综合模态数据中的各个目标单模态数据，分别与对应的单模态数据集合中其他各个单模态数据的相似度。再基于获得的各个相似度从各个目标单模态数据对应的单模态数据集合中，分别确定各个目标单模态数据对应的候选单模态数据集合，再对获得的各个候选单模态数据集合进行共享，确定新综合模态数据，实现了对少量已有的综合模态数据的数据增强，提高了扩充综合模态数据的效率和准确性。
一种数据增强方法装置设备存储介质

[发明专利]多模态的知识蒸馏方法及系统-CN202110624603.9在审
发明人：钱彦旻;张乐莹;陈正阳 -专利权人：思必驰科技股份有限公司
申请日： 2021-06-04 - 公布日： 2021-09-07 - 主分类号： G06K9/00 文献下载
摘要：本发明实施例提供一种多模态的知识蒸馏方法。该方法包括：搭建单模态声纹识别系统和单模态人脸识别系统，得到单模态声纹嵌入以及得到单模态人脸嵌入；将同一组声音‑人脸数据得到的单模态声音嵌入和单模态人脸嵌入组合输入至作为教师模型的多模态融合系统中，得到多模态说话人嵌入；利用教师模型对作为学生模型的单模态系统进行知识蒸馏，其中，知识蒸馏的方式包括：标签层面的知识蒸馏、深度说话人嵌入层面的知识蒸馏和分布层面的知识蒸馏。本发明实施例还提供一种多模态的知识蒸馏系统。本发明实施例将知识从多模态系统提炼至单模态系统，将教师模型的优势迁移至单模态学生模型中，从而利用知识迁移后的学生模型可以获得更好的识别效果。
多模态知识蒸馏方法系统

[发明专利]一种学习参与度识别方法、装置、设备及可读存储介质-CN202210367286.1在审
发明人：潘杰;栾春;谢德仁;杜伟;张雨辰 -专利权人：山东师范大学
申请日： 2022-04-08 - 公布日： 2022-08-19 - 主分类号： G06V10/80 文献下载
摘要：本申请提供了一种学习参与度识别方法、装置、设备及可读存储介质，涉及多模态情感识别技术领域，包括：对获取的视频样本进行预处理，提取出多个模态下的单模态特征；将多个模态下的单模态特征进行特征融合，得到多模态融合特征；多模态融合特征经过全连接层降低维度并进行预测，得到多模态输出值；单模态特征映射到低维空间中，再运用线性回归得到单模态输出值；将单模态输出值和多模态输出值按照预设权重加权求和，得到融合输出值；基于多模态输出值、单模态输出值和融合输出值，确定用户的学习参与度，这样，通过联合多模态信息和单模态信息，将提取出的单模态特征映射到低维空间，再单独训练模型，可以提高学习参与度的识别准确率。
一种学习参与识别方法装置设备可读存储介质

[发明专利]一种多模态图像分类方法及系统-CN202110355430.5有效
发明人：王勇;袁狄;何小宇 -专利权人：中南大学
申请日： 2021-04-01 - 公布日： 2022-06-17 - 主分类号： G06V10/44 文献下载
摘要：本发明公开了一种多模态图像分类方法及系统，建立多个单模态网络特征提取模块，每个所述单模态网络特征提取模块包括多阶级联的残差模块，最后一阶残差模块依次连接池化层、全连接层和softmax层，得到单模态网络通道；所有的单模态网络通道构成单模态网络模型；利用协同注意力机制融合所述单模态网络模型中的各阶残差模块，得到融合模态网络模型；融合所述单模态网络模型和融合模态网络模型，得到分类模型。
一种多模态图像分类方法系统

[发明专利]多模态数据的关联方法、装置、计算机设备及存储介质-CN202210683218.6在审
发明人：柳阳 -专利权人：平安银行股份有限公司
申请日： 2022-06-16 - 公布日： 2022-10-18 - 主分类号： G06F16/58 文献下载
摘要：本发明提供一种多模态数据的关联方法、装置、计算机设备及存储介质，包括：获取目标用户的目标单模态数据，以及与目标用户关联的至少一个关联用户的关联单模态数据；分别确定每个关联单模态数据相对于目标单模态数据的目标数据权重；根据每个关联单模态数据的目标数据权重，将每个关联单模态数据与目标单模态数据进行关联，得到目标关联数据，以实现不同来源的多模态数据的关联。由于目标关联数据中完成了单模态数据之间的关联，不再相互独立，即目标关联数据成为一个关联整体，使得后续能够根据目标关联数据进行可靠的分析处理；解决了多模态数据的关联问题。
多模态数据关联方法装置计算机设备存储介质

[发明专利]可扩展的多模态层析成像系统-CN201811071494.7有效
发明人：谭超;陈睿阳;董峰 -专利权人：天津大学
申请日： 2018-09-14 - 公布日： 2021-02-19 - 主分类号： G01N33/00 文献下载
摘要：本发明涉及一种可扩展模态的层析成像系统，包括主控模块以及各个单模态层析成像模块。其中，主控模块，承担各个单模态层析成像模块间的数据通信功能，协调各个单模态层析成像模块的数据采集速度和时序；各个单模态层析成像模块，可以通过多模态通信接口与多模态控制线相连；使用所述多模态控制线连接多模态主控芯片和各个单模态层析成像模块的控制芯片，并使用多模态主控芯片，通过多模态控制线传输状态与指令信号，实现对各个单模态层析成像模块的工作时序，工作速率控制，并协调各模态间的数据通信；多模态主控芯片采用FPGA芯片，读取状态线上的电平值，根据已编制好的内部程序，通过指令线向各个模态发送开始工作指令，协调各个单模态层析成像模块工作时序。
扩展多模态层析成像系统

[发明专利]基于跨模态行人重识别方法及装置-CN202010772750.6在审
发明人：王金鹏;王金桥;胡建国;唐明;林格;招继恩;朱贵波 -专利权人：杰创智能科技股份有限公司
申请日： 2020-08-04 - 公布日： 2020-12-01 - 主分类号： G06K9/00 文献下载
摘要：本发明实施例提供一种基于跨模态行人重识别方法，所述方法包括：通过将带有身份标识的行人图像输入跨模态特征提取模型中，确定带有身份标识的行人图像的跨模态泛化特征、红外单模态泛化特征和RGB单模态泛化特征，并计算待进行跨模态行人重识别的图像特征，与跨模态泛化特征、红外单模态泛化特征和RGB单模态泛化特征的相似度，进行行人重识别；其中，跨模态特征提取模型包括特征提取模块、模态批归一化身份嵌入模块和单模态身份嵌入模块，从而使得提取的图像特征泛化性更强，同时能够准确提取图像的跨模态泛化特征、红外单模态泛化特征和RGB单模态泛化特征，并确定其与待进行跨模态行人重识别图像特征的相似度，准确得到识别结果。
基于跨模态行人识别方法装置

[发明专利]确定对象情感的方法、训练情感分类模型的方法及装置-CN202111047021.5有效
发明人：冯博豪 -专利权人：北京百度网讯科技有限公司
申请日： 2021-09-07 - 公布日： 2023-07-28 - 主分类号： G06F18/25 文献下载
摘要：具体实现方案为：针对目标对象的多模态数据中每个单模态数据，利用单模态数据的第一权重对单模态数据的特征进行加权，得到每个单模态数据的第一加权特征；多模态数据包括多个单模态数据；根据单模态数据的第一权重，利用特征融合模型对多个单模态数据的第一加权特征进行融合
确定对象情感方法训练分类模型装置

[发明专利]视频审核方法、装置、设备、存储介质及程序产品-CN202210363246.X在审
发明人：杨帆;郭春超;王红法;刘威 -专利权人：腾讯科技（深圳）有限公司
申请日： 2022-04-07 - 公布日： 2022-07-29 - 主分类号： G06V20/40 文献下载
摘要：所述方法包括：获取目标视频的n种单模态特征；分别对所述n种单模态特征中的每种单模态特征进行时序融合，得到n种单模态时序融合特征；对所述n种单模态时序融合特征及所述n种单模态特征进行融合，得到多模态融合特征；基于所述多模态融合特征进行视频审核，得到所述目标视频的违规类别标签。本申请通过多模态融合特征对目标视频进行多角度且结合前后内容的审核，提高了审核目标视频所输出的违规类别标签的准确率。
视频审核方法装置设备存储介质程序产品

[发明专利]一种基于双模态信息增强多头注意力的视频情感分析方法-CN202110195691.5在审
发明人：彭俊杰;吴廷;郑藏智;马传帅 -专利权人：上海大学
申请日： 2021-02-22 - 公布日： 2022-08-30 - 主分类号： G06V20/40 文献下载
摘要：本发明涉及一种基于双模态信息增强多头注意力的视频情感分析方法，包括：对视频进行预处理；从预处理后的数据中获取单模态原始特征；基于单模态原始特征，进一步获取单模态深层特征，其中，单模态深层特征包括文本深层特征、音频深层特征和视频深层特征；根据单模态深层特征，提取出单模态间的交互信息，即得到双模态信息；从不同特征子空间计算双模态注意力，获取双模态间的交互信息；将双模态信息与双模态间交互信息进行融合及分类预测，与现有技术相比，本发明在提取单模态特征后，利用其获取模态间的交互信息，再进一步得到不同交互信息的独立性和一致性信息，从而进行有效的特征融合和准确的情感预测。
一种基于双模信息增强多头注意力视频情感分析方法

[发明专利]一种基于门控融合和多任务学习的视频情感分类方法-CN202210732914.1在审
发明人：孙新;任翔渝;李瑾仪 -专利权人：北京理工大学
申请日： 2022-06-27 - 公布日： 2022-10-18 - 主分类号： G06F16/35 文献下载
摘要：本发明从视频提取出文本、图片和音频的特征向量；用GRU对各模态的特征向量编码得到各模态特定维度的向量表示；用带门机制的Transformer将各模态信息进行融合并将融合向量拼接作为多模态向量表示；用LSTM和全连接网络对各模态的特征向量编码得到各模态转换的向量表示；用多模态向量表示、各模态转换的向量表示和多模态情感标签计算得到单模态情感标签；结合多模态情感标签和单模态标签进行多任务学习，同时进行多模态情感分类、单模态情感分类。本发明提供的视频情感分类方法使用融合后的多模态向量表示参与生成单模态标签，提高了单模态标签的准确度；还采用多任务学习的方式，同时进行多模态情感分类和单模态情感分类，提升了视频情感分类的效果。
一种基于门控融合任务学习视频情感分类方法

[发明专利]生物信息识别方法、装置、设备及介质-CN202210312391.5在审
发明人：祝轶哲 -专利权人：上海云从企业发展有限公司
申请日： 2022-03-28 - 公布日： 2022-06-28 - 主分类号： G06V40/16 文献下载
摘要：本发明提供一种生物信息识别方法、装置、设备及介质，包括：获取待识别目标的生物信息图像；对生物信息图像进行特征提取，得到不同层级的单模态彩色特征与单模态深度特征；逐级融合单模态彩色特征与单模态深度特征，得到每个层级的多模态特征；将多模态特征分别融合单模态彩色特征、单模态深度特征，得到跨模态的彩色卷积特征与跨模态的深度卷积特征；融合跨模态的彩色卷积特征与跨模态的深度卷积特征，得到最终的特征向量；基于生物信息图像最终的特征向量进行信息识别，本发明通过跨模态处理，不仅可提取到更显著的特征，有效捕捉来自彩色图像与深度图像的跨模态信息，有助于检测更完整的目标，在生物信息识别中，也提高了识别精度。
生物信息识别方法装置设备介质

[发明专利]一种基于单模态和多模态联合训练的情感分析方法及系统-CN202310149494.9在审
发明人：朱振方;李萌;李克峰;亓江涛;裴洪丽;张广渊;王朋 -专利权人：山东交通学院
申请日： 2023-02-21 - 公布日： 2023-05-30 - 主分类号： G06F16/335 文献下载
摘要：本发明公开了一种基于单模态和多模态联合训练的情感分析方法及系统，涉及多模态情感分析技术领域。为了兼顾多模态的交互和独立，本发明提出了一种名为JTUM的融合策略，该策略包含了三个单模态任务和多模态任务。在单模态任务中，使用单模态标签生成模块来获得独立的单模态监督，学习单模态表示。在多模态任务中，使用crossmodal transformer来学习多模态序列之间的交互。本发明的方法既关注了单个模态的特性，又关注了跨模态间的相互作用，提高了预测模型的鲁棒性能够获得更为准确的情感分析结果，为平台智能管理和兴趣推荐等大数据处理技术的应用提供了重要的技术辅助。
一种基于单模多模态联合训练情感分析方法系统

[发明专利]基于对比特征融合的情感识别方法、装置、设备及介质-CN202310371911.4在审
发明人：焦爽;陈光辉;袁世通;周旭战;江鹏宇;秦铭阳;张明明;张璜;马仁婷 -专利权人：中国大唐集团科学技术研究院有限公司中南电力试验研究院
申请日： 2023-04-06 - 公布日： 2023-09-01 - 主分类号： G10L25/63 文献下载
摘要：该方法可以包括：分别提取语音单模态特征与表情单模态特征；通过对比学习提取语音单模态特征与表情单模态特征的共享信息，获取对比损失函数；通过正交约束提取语音单模态特征与表情单模态特征的特定信息，获得正交损失函数本发明有效地提取和融合了语音和表情模态之间的共享信息和特有信息。
基于对比特征融合情感识别方法装置设备介质

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
下一页»
尾页
共 41544 条