[发明专利]基于事件一致性的视听事件检测方法及装置在审
申请号: | 202211490319.8 | 申请日: | 2022-11-25 |
公开(公告)号: | CN115861879A | 公开(公告)日: | 2023-03-28 |
发明(设计)人: | 尹建芹;蒋圆圆;党永浩;孙源 | 申请(专利权)人: | 北京邮电大学 |
主分类号: | G06V20/40 | 分类号: | G06V20/40;G06V10/764;G06V10/80;G06N3/048;G06N3/08;G10L25/51;G10L25/57;G10L25/30;G10L25/03 |
代理公司: | 北京清亦华知识产权代理事务所(普通合伙) 11201 | 代理人: | 石茵汀 |
地址: | 100876 北京市海淀区西*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明提出一种基于事件一致性的视听事件检测方法,包括:获取目标视频;将目标视频划分为N个不重叠的连续片段,获取图像流和音频流;对图像流和音频流进行特征提取,获取视听特征;通过视听联合学习将视听特征融合,其中,视听联合学习包括片段层面的特征编码以及视频层面的语义指导;将融合后的视听特征输入分类器中,得到目标视频的预测结果。本发明的方法利用事件的语义一致性来分别指导视觉和听觉模态的学习,可以确保模型更好地聚焦和定位发声对象。 | ||
搜索关键词: | 基于 事件 一致性 视听 检测 方法 装置 | ||
【主权项】:
暂无信息
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京邮电大学,未经北京邮电大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/202211490319.8/,转载请声明来源钻瓜专利网。