[发明专利]一种基于类脑反馈交互的多模态融合视频分类方法及系统在审
| 申请号： | 202211048630.7 | 申请日： | 2022-08-29 |
| 公开（公告）号： | CN115588148A | 公开（公告）日： | 2023-01-10 |
| 发明（设计）人： | 姚潇;李浩辰;宋英慧;徐宁;刘小峰 | 申请（专利权）人： | 河海大学 |
| 主分类号： | G06V20/40 | 分类号： | G06V20/40;G06N3/04;G06N3/08;G06V10/764;G06V10/82 |
| 代理公司： | 南京纵横知识产权代理有限公司 32224 | 代理人： | 邵斌 |
| 地址： | 210098 江苏*** | 国省代码： | 江苏;32 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开一种基于类脑反馈交互的多模态融合视频分类方法及系统，方法包括：对视频预处理，获得视频中的视觉信息和听觉信息；进行特征提取后输入到基于神经网络架构搜索的多模态融合框架中进行融合得到融合信息表示；将融合信息表示、视觉信息和听觉信息输入基于人脑在颞上沟进行视听觉信息整合后对单感觉皮层产生的反馈调制效应构建的反馈模块，输出多模态融合的视觉信息和多模态融合的听觉信息并分别经过全连接层得到每种分类的置信度；将每种分类的置信度，输入DS决策融合模块，得到最终的分类结果。本发明借鉴人脑感知外界环境的处理方式，从各种模态感知信息并实现多感觉整合，有效提高了对视频中的人物表情进行识别分类的准确率。 | ||
| 搜索关键词： | 一种 基于 反馈 交互 多模态 融合 视频 分类 方法 系统 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于河海大学，未经河海大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202211048630.7/，转载请声明来源钻瓜专利网。
