[发明专利]一种基于弹幕的视频语义标注方法、装置及电子设备

权利要求书

1.一种基于弹幕的视频语义标注方法，其特征在于，所述方法包括：

对目标视频的所有弹幕进行分词处理，获得弹幕中的所有词语；

对弹幕中的所有词语进行去停用词处理，得到不重复的字典词汇，生成字典词汇集合，及由每个字典词汇在每个时间片的数量构成的词汇分布矩阵；

根据各个弹幕在目标视频中的出现时间，获得每条词语对应的时间戳；

根据所述目标视频的播放时长，将所述目标视频平均划分为预设数量个时间片，并记录所述每个时间片的开始时间和结束时间；

针对每个时间片，将时间戳在该时间片的开始时间和结束时间内的所有词语组成一个文档，生成包含所有时间片对应的文档的集合；

针对每个时间片，随机初始化，获得初始主题集合和初始情节集合；根据所述目标视频的总时长、词汇分布矩阵、每个时间片的结束时间和各个词语的时间戳，计算所述字典词汇集合中每个字典词汇相对于每个时间片的时间先验信息；

针对所述初始主题集合和初始情节集合中的各个主题和情节，使用预设的弹幕词汇的全概率公式及所述时间先验信息，计算每个字典词汇对应各个主题和情节的概率；生成各个字典词汇与各个主题及情节的概率对应关系；

针对每个时间片，根据生成的各个字典词汇与主题及情节的概率对应关系，确定该时间片对应的主题及情节，生成所述时间片的情节-主题-词语分布矩阵；

根据所述每个时间片的情节-主题-词语分布矩阵，计算相邻时间片的相似度；

根据所述相邻时间片的相似度，判断所述相邻时间片的情节-主题-词语分布是否相似；

若为是，则将所述相邻时间片合并为一个时间片；

根据所述各个时间片的情节-主题-词语分布，确定各个时间片对应的情节；

根据所述各个时间片对应的情节，对所述目标视频进行标注；

其中，所述根据所述目标视频的总时长、词汇分布矩阵、每个时间片的结束时间和各个词语的时间戳，计算所述字典词汇集合中每个字典词汇相对于每个时间片的时间先验信息，包括：

通过以下表达式进行计算：

λ＝|t₁,t₂,…,t_W|^T

其中，表示字典词汇w_i相对于时间片j的时间先验信息，n表示所弹幕中的所有词语的数量，表示字典词汇w_i中的第n个词语所对应的时间戳，ep_j表示时间片j的结束时间，VDE表示目标视频的总时长；t_i表示字典词汇w_i的时间先验信息；λ表示所述字典词汇集合的时间先验信息，E表示情节集合，|E|表示情节数量；

其中，在对弹幕中的所有词语进行去停用词处理，得到不重复的字典词汇，生成字典词汇集合之后，所述方法还包括：

针对每个时间片，根据所述字典词汇集合、预设的关键词提取算法及预设的原始权重，得到各个字典词汇对于每个时间片的重要性先验信息；

所述针对所述初始主题集合和初始情节集合中的各个主题和情节，使用预设的弹幕词汇的全概率公式及所述时间先验信息，计算每个字典词汇对应各个主题和情节的概率；生成各个字典词汇与各个主题及情节的概率对应关系，包括：

针对所述初始主题集合和初始情节集合中的各个主题和情节，使用预设的弹幕词汇的全概率公式、所述时间先验信息及所述重要性先验信息，计算所述每个字典词汇对应各个主题和情节的概率；生成所述各个字典词汇与各个主题及情节的概率对应关系；

其中，所述使用预设的弹幕词汇的全概率公式、所述时间先验信息及所述重要性先验信息，计算所述每个字典词汇对应各个主题和情节的概率，包括：

从所述初始主题集合中随机选择一个目标主题，从所述初始情节集合中随机选择一个目标情节，从所述字典词汇集合中随机选择一个字典词汇，作为目标词汇；

利用预设的全概率公式计算所述目标词汇同时属于所述目标主题和所述目标情节的概率；其中，所述全概率公式中包含所述时间先验信息及所述重要性先验信息；

重复选择目标主题、目标情节和目标词汇，计算所述目标词汇对应各个主题和情节的概率，直至达到预设的选择次数。