[发明专利]视频亮点片段检测方法、装置、电子设备及存储介质在审
申请号: | 202210356961.0 | 申请日: | 2022-03-31 |
公开(公告)号: | CN114979620A | 公开(公告)日: | 2022-08-30 |
发明(设计)人: | 吴军;林昭文;黄俊飞;孙溢;夏梁恢;袁斌 | 申请(专利权)人: | 北京邮电大学 |
主分类号: | H04N17/00 | 分类号: | H04N17/00;H04N21/475;H04N21/4788;G06N3/04;G06F40/242;G06F16/78;G06F16/33 |
代理公司: | 北京风雅颂专利代理有限公司 11403 | 代理人: | 徐雅琴 |
地址: | 100876 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 视频 亮点 片段 检测 方法 装置 电子设备 存储 介质 | ||
1.一种视频亮点片段检测方法,包括:
获取待检测的视频片段中的多条弹幕评论;
利用时间循环神经网络模型,提取所述多条弹幕评论的文本特征;
利用预先构造的情感词典,计算所述多条弹幕评论各自的情感值,并基于所述情感值而确定所述视频片段的情感强度;
计算所述多条弹幕评论中每两条弹幕评论之间的余弦相似度,并基于所述余弦相似度而确定所述视频片段的内容相似度;
根据所述情感强度和所述内容相似度,确定所述视频片段的亮点评分;
根据所述文本特征和所述亮点评分,通过预先训练的卷积神经网络模型来预测所述视频片段为亮点片段的概率;
响应于确定所述概率不小于预设阈值,确定所述视频片段为亮点片段。
2.根据权利要求1所述的方法,还包括:
在提取所述多条弹幕评论的文本特征之前,对所述多条弹幕评论进行清洗以去除所述多条弹幕评论中的无效符号和重复信息,并对清洗后的所述多条弹幕评论进行分词。
3.根据权利要求2所述的方法,其中,
所述时间循环神经网络为结合了自注意力机制的长短期记忆网络LSTM模型;
所述利用时间循环神经网络模型,提取所述多条弹幕评论的文本特征,包括:
对分词后的所述多条弹幕评论进行词向量映射,以得到弹幕文本向量序列;
利用所述LSTM模型,从所述弹幕文本向量序列提取所述文本特征。
4.根据权利要求3所述的方法,其中,
在从所述弹幕文本向量序列提取所述文本特征时,所述LSTM模型输出所述多条弹幕评论各自的隐藏层状态;
所述计算所述多条弹幕评论中每两条弹幕评论之间的余弦相似度包括:计算所述两条弹幕评论各自的所述隐藏层状态之间的余弦相似度,作为所述两条弹幕评论之间的余弦相似度。
5.根据权利要求2至4中任一项所述的方法,其中,
所述情感词典包括基本情感词汇库、特殊词词典和表情词典;
所述利用预先构造的情感词典,计算所述多条弹幕评论各自的情感值,包括:对于分词后的所述多条弹幕评论中的每条弹幕评论,利用所述情感词典识别出该弹幕评论中的情感词,并识别出该弹幕评论中与所述情感词关联的否定词、程度副词和情感标点,根据所述情感词、所述否定词、所述程度副词和所述情感标点来计算该弹幕评论的所述情感值。
6.根据权利要求5所述的方法,其中,所述根据所述情感词、所述否定词、所述程度副词和所述情感标点来计算该弹幕评论的所述情感值包括:
根据所述情感词、所述否定词、所述程度副词、所述情感标点以及该弹幕评论的字体大小和字体颜色,计算该弹幕评论的所述情感值。
7.根据权利要求1至4中任一项所述的方法,其中,所述根据所述文本特征和所述亮点评分,通过预先训练的卷积神经网络模型来预测所述视频片段为亮点片段的概率,包括:
将所述文本特征和所述亮点评分拼接后输入所述卷积神经网络的全连接层,以预测出所述视频片段为亮点片段的概率。
8.一种视频亮点片段检测装置,包括:
获取模块,被配置为获取待检测的视频片段中的多条弹幕评论;
文本特征提取模块,被配置为利用时间循环神经网络模型,提取所述多条弹幕评论中的文本特征;
情感强度计算模块,被配置为利用预先构造的情感词典,计算所述多条弹幕评论各自的情感值,并基于所述情感值而确定所述视频片段的情感强度;
内容相似度计算模块,被配置为计算所述多条弹幕评论中每两条弹幕评论之间的余弦相似度,并基于所述余弦相似度而确定所述视频片段的内容相似度;
评分模块,被配置为根据所述情感强度和所述内容相似度,确定所述视频片段的亮点评分;
预测模块,被配置为根据所述文本特征和所述亮点评分,通过预先训练的卷积神经网络模型来预测所述视频片段为亮点片段的概率;
确定模块,被配置为响应于确定所述概率不小于预设阈值,确定所述视频片段为亮点片段。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京邮电大学,未经北京邮电大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210356961.0/1.html,转载请声明来源钻瓜专利网。