[发明专利]一种基于弹幕的视频语义标注方法、装置及电子设备

说明书

本发明实施例提供了一种基于弹幕的视频语义标注方法，包括：获得目标视频弹幕中的所有词语及对应的时间戳；将目标视频平均划分为预设数量个时间片；根据预设的词语与主题及情节的概率对应关系，生成包含每个时间片对应的主题的初始主题集合及包含每个时间片对应的情节的初始情节集合；生成字典词汇集合及词汇分布矩阵；计算所述字典词汇集合的时间先验信息；使用预设的弹幕词汇的全概率公式，计算每个字典词汇对应各个主题和情节的概率；生成所述时间片的情节‑主题分布矩阵；将相邻的相似时间片合并为一个时间片；确定各个时间片对应的情节；对目标视频进行标注。应用本发明实施例提供的方案进行视频语义标注，使得对视频语义的标注更加准确。

技术领域

本发明涉及视频标注技术领域，特别是涉及一种基于弹幕的视频语义标注方法、装置及电子设备。

背景技术

在线视频在互联网中占据十分庞大的流量，每天都有成百上千的视频上传至全球互联网视频平台，因此对在线视频的管理是十分重要的。而对视频的标注可以提高网络流量资源利用率和在线视频管理效率，是在线视频管理的关键环节。

近年来兴起的视频网站增加了“弹幕”功能，能够实现用户对当前观看的情节片段的实时评论。基于此，可以利用弹幕中丰富的评论数据，根据弹幕出现的密集程度对弹幕进行聚类，再根据每一类中时间最早和最晚的弹幕得到这一类弹幕的时间片范围，每个聚类结果对应一个情节，从而对视频进行标注。

但是，目前已有的利用弹幕对视频进行语义标注的方法，仅仅根据弹幕在时间上的分布来确定情节的时间边界，忽略了对弹幕交互特性的考虑，没有考虑到当前时间出现的弹幕所讨论的内容可能是与相邻时间对应的情节相关联的，而与当前时间对应的情节无关，因此导致对情节的划分不够准确，从而使得对视频语义的标注不够准确。

发明内容

本发明实施例的目的在于提供一种基于弹幕的视频语义标注方法，以实现对视频语义的准确标注。

为达到上述目的，本发明实施例公开了一种基于弹幕的视频语义标注方法，所述方法包括：

对目标视频的所有弹幕进行分词处理，获得弹幕中的所有词语；

对弹幕中的所有词语进行去停用词处理，得到不重复的字典词汇，生成字典词汇集合，及由每个字典词汇在每个时间片的数量构成的词汇分布矩阵；

根据各个弹幕在目标视频中的出现时间，获得每条词语对应的时间戳；

根据所述目标视频的播放时长，将所述目标视频平均划分为预设数量个时间片，并记录所述每个时间片的开始时间和结束时间；

针对每个时间片，将时间戳在该时间片的开始时间和结束时间内的所有词语组成一个文档，生成包含所有时间片对应的文档的集合；

针对每个时间片，随机初始化，获得初始主题集合和初始情节集合；

根据所述目标视频的总时长、词汇分布矩阵、每个时间片的结束时间和各个词语的时间戳，计算所述字典词汇集合中每个字典词汇相对于每个时间片的时间先验信息；

针对所述初始主题集合和初始情节集合中的各个主题和情节，使用预设的弹幕词汇的全概率公式及所述时间先验信息，计算每个字典词汇对应各个主题和情节的概率；生成各个字典词汇与各个主题及情节的概率对应关系；

针对每个时间片，根据生成的各个字典词汇与主题及情节的概率对应关系，确定该时间片对应的主题及情节，生成所述时间片的情节-主题-词语分布矩阵；

根据所述每个时间片的情节-主题-词语分布矩阵，计算相邻时间片的相似度；

根据所述相邻时间片的相似度，判断所述相邻时间片的情节-主题-词语分布是否相似；

若为是，则将所述相邻时间片合并为一个时间片；