[发明专利]一种基于弹幕的视频语义标注方法、装置及电子设备

摘要

本发明实施例提供了一种基于弹幕的视频语义标注方法，包括：获得目标视频弹幕中的所有词语及对应的时间戳；将目标视频平均划分为预设数量个时间片；根据预设的词语与主题及情节的概率对应关系，生成包含每个时间片对应的主题的初始主题集合及包含每个时间片对应的情节的初始情节集合；生成字典词汇集合及词汇分布矩阵；计算所述字典词汇集合的时间先验信息；使用预设的弹幕词汇的全概率公式，计算每个字典词汇对应各个主题和情节的概率；生成所述时间片的情节‑主题分布矩阵；将相邻的相似时间片合并为一个时间片；确定各个时间片对应的情节；对目标视频进行标注。应用本发明实施例提供的方案进行视频语义标注，使得对视频语义的标注更加准确。

主权项

1.一种基于弹幕的视频语义标注方法，其特征在于，所述方法包括：对目标视频的所有弹幕进行分词处理，获得弹幕中的所有词语；对弹幕中的所有词语进行去停用词处理，得到不重复的字典词汇，生成字典词汇集合，及由每个字典词汇在每个时间片的数量构成的词汇分布矩阵；根据各个弹幕在目标视频中的出现时间，获得每条词语对应的时间戳；根据所述目标视频的播放时长，将所述目标视频平均划分为预设数量个时间片，并记录所述每个时间片的开始时间和结束时间；针对每个时间片，将时间戳在该时间片的开始时间和结束时间内的所有词语组成一个文档，生成包含所有时间片对应的文档的文档集合；针对每个时间片，随机初始化，获得初始主题集合和初始情节集合；根据所述目标视频的总时长、词汇分布矩阵、每个时间片的结束时间和各个词语的时间戳，计算所述字典词汇集合中每个字典词汇相对于每个时间片的时间先验信息；针对所述初始主题集合和初始情节集合中的各个主题和情节，使用预设的弹幕词汇的全概率公式及所述时间先验信息，计算所述每个字典词汇对应各个主题和情节的概率；生成所述各个字典词语与各个主题及情节的概率对应关系；针对每个时间片，根据生成的各个字典词语与主题及情节的概率对应关系，确定该时间片对应的主题及情节，生成所述时间片的情节-主题-词语分布矩阵；根据所述每个时间片的情节-主题-词语分布矩阵，计算相邻时间片的相似度；根据所述相邻时间片的相似度，判断所述相邻时间片的情节-主题-词语分布是否相似；若为是，则将所述相邻时间片合并为一个时间片；根据所述各个时间片的情节-主题-词语分布，确定各个时间片对应的情节；根据所述各个时间片对应的情节，对所述目标视频进行标注。