[发明专利]视频亮点片段检测方法、装置、电子设备及存储介质在审
申请号: | 202210356961.0 | 申请日: | 2022-03-31 |
公开(公告)号: | CN114979620A | 公开(公告)日: | 2022-08-30 |
发明(设计)人: | 吴军;林昭文;黄俊飞;孙溢;夏梁恢;袁斌 | 申请(专利权)人: | 北京邮电大学 |
主分类号: | H04N17/00 | 分类号: | H04N17/00;H04N21/475;H04N21/4788;G06N3/04;G06F40/242;G06F16/78;G06F16/33 |
代理公司: | 北京风雅颂专利代理有限公司 11403 | 代理人: | 徐雅琴 |
地址: | 100876 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 视频 亮点 片段 检测 方法 装置 电子设备 存储 介质 | ||
本申请提供一种视频亮点片段检测方法、装置、电子设备及存储介质。其中,视频亮点片段检测方法,包括:获取待检测视频的弹幕评论,并依次对弹幕评论进行预处理以及特征提取,得到文本特征;通过对文本特征进行情感强度计算和内容相似度计算,从而确定与该弹幕对应的视频片段的亮点概率,根据所述亮点概率确定亮点片段。本申请中的检测方法:通过弹幕评论确定原长视频中的亮点片段,有效降低了人工成本,同时通过弹幕评论确定亮点片段的方式避免了通过机器检测亮点片段时因使用图像音频数据造成计算效率慢、结果不准确的问题,可以高效、准确地检测视频中的亮点片段。
技术领域
本申请涉及数据分析及检测技术领域,尤其涉及一种视频亮点片段检测方法装置、电子设备及存储介质。
背景技术
随着互联网上视频日益增多,生活节奏加快,大部分观众为了提升观看效率,或者是由于剧情拖沓、桥段不喜欢等原因,对比起观看完整视频,他们更倾向于观看其中的亮点片段,这类片段由于包含有用户普遍关注和感兴趣的时刻而受到欢迎,也成为了一种新的需求。现阶段的视频亮点检测方法主要分为手工筛选和机器检测两类,手工的方式需要耗费较大的人力,而机器检测也存在计算效率低且不够准确的问题。
目前机器检测视频亮点片段的方式包括两类,分别为:基于播放特征和基于音视频特征。基于播放特征的方式是统计视频各个片段的点击率及弹幕数量,判断其是否超过一定的阈值来获取亮点,但这种方式较为片面;基于音视频特征的方式是采用深度学习的方法,分析画面变化、音频音调等来检测视频亮点,但影音数据规模通常十分庞大,且计算成本高效率慢。因此需要有更简单、高效的方式来识别视频中的亮点片段,提高检测的准确度。
发明内容
有鉴于此,本申请的目的在于提出一种视频亮点片段检测方法装置、电子设备及存储介质。
基于上述目的,本申请提供了一种视频亮点片段检测方法,包括:
获取待检测的视频片段中的多条弹幕评论;
利用时间循环神经网络模型,提取所述多条弹幕评论的文本特征;
利用预先构造的情感词典,计算所述多条弹幕评论各自的情感值,并基于所述情感值而确定所述视频片段的情感强度;
计算所述多条弹幕评论中每两条弹幕评论之间的余弦相似度,并基于所述余弦相似度而确定所述视频片段的内容相似度;
根据所述情感强度和所述内容相似度,确定所述视频片段的亮点评分;
根据所述文本特征和所述亮点评分,通过预先训练的卷积神经网络模型来预测所述视频片段为亮点片段的概率;
响应于确定所述概率不小于预设阈值,确定所述视频片段为亮点片段。
可选的,还包括:
在提取所述多条弹幕评论的文本特征之前,对所述多条弹幕评论进行清洗以去除所述多条弹幕评论中的无效符号和重复信息,并对清洗后的所述多条弹幕评论进行分词。
可选的,
所述时间循环神经网络为结合了自注意力机制的长短期记忆网络LSTM模型;
所述利用时间循环神经网络模型,提取所述多条弹幕评论的文本特征,包括:
对分词后的所述多条弹幕评论进行词向量映射,以得到弹幕文本向量序列;
利用所述LSTM模型,从所述弹幕文本向量序列提取所述文本特征。
可选的,其中,
在从所述弹幕文本向量序列提取所述文本特征时,所述LSTM模型输出所述多条弹幕评论各自的隐藏层状态;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京邮电大学,未经北京邮电大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210356961.0/2.html,转载请声明来源钻瓜专利网。