[发明专利]基于跨模态动态卷积的视频多模态情感识别方法、装置及计算机设备在审
| 申请号： | 202210067242.7 | 申请日： | 2022-01-20 |
| 公开（公告）号： | CN114511906A | 公开（公告）日： | 2022-05-17 |
| 发明（设计）人： | 郭艳霞;唐宏;金勇;彭金枝 | 申请（专利权）人： | 重庆邮电大学 |
| 主分类号： | G06V40/16 | 分类号： | G06V40/16;G06V20/40;G06N3/04;G06K9/62;G10L25/03;G10L25/30;G06V10/80;G06V10/82 |
| 代理公司： | 重庆辉腾律师事务所 50215 | 代理人： | 王海军 |
| 地址： | 400065 重*** | 国省代码： | 重庆;50 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及自然语言处理、深度学习、多模态情感分析领域，涉及一种基于跨模态动态卷积的视频多模态情感识别方法、装置及计算机设备，所述方法包括使用ERNIE2.0预训练模型、DCCN、ResNet‑152和胶囊网络分别对文本、音频、图像提取出单模态低级特征；使用词对齐对三个模态特征进行对齐；采用双向GRU对上述特征进行处理，得到各模态高级特征；利用跨模态动态卷积对三个模态特征进行交互；拼接各个模态的跨模态交互特征和高级特征，并利用多头注意力机制融合；最后输入到softmax函数中得到情感识别结果；本发明很好的融合了各单模态特征，有效挖掘视频中所表达的情感信息，从而提升了多模态情感识别的准确率及效率。 | ||
| 搜索关键词： | 基于 跨模态 动态 卷积 视频 多模态 情感 识别 方法 装置 计算机 设备 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于重庆邮电大学，未经重庆邮电大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202210067242.7/，转载请声明来源钻瓜专利网。
- 上一篇：一种水产养殖用水质监控装置
- 下一篇：一种景观设计用的灯光试验演示装置
