[发明专利]一种音视频多模态情感分类方法及系统有效
| 申请号： | 202110646620.2 | 申请日： | 2021-06-10 |
| 公开（公告）号： | CN113408385B | 公开（公告）日： | 2022-06-14 |
| 发明（设计）人： | 岑敬伦;李志鹏;青春美;罗万相 | 申请（专利权）人： | 华南理工大学 |
| 主分类号： | G06V40/16 | 分类号： | G06V40/16;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08;G10L15/26;G10L25/03;G10L25/24;G10L25/30;G10L25/63 |
| 代理公司： | 广州市华学知识产权代理有限公司 44245 | 代理人： | 林梅繁 |
| 地址： | 510640 广*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及语音和图像处理、模式识别领域，为一种音视频多模态情感分类方法及系统，其方法包括步骤：对原始视频数据的处理与计算，得到视频数据样本、音频数据样本及文本特征样本；构建情感特征提取网络，分别对视频数据样本、音频数据样本及文本特征样本进行特征提取，获得多模态中的视觉模态特征、音频特征及文本特征；将提取到的视觉模态特征、音频特征及文本特征进行维度统一，输入到张量融合网络中进行融合学习，最后进行分类输出多模态情感分类概率结果。本发明能够对跨模态之间的情感信息进行有效的整合，对视频、音频及文本进行时空高维度上的特征提取，拼接成多模态特征向量，再融合学习并进行情感分类。 | ||
| 搜索关键词： | 一种 视频 多模态 情感 分类 方法 系统 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于华南理工大学，未经华南理工大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202110646620.2/，转载请声明来源钻瓜专利网。
