[发明专利]一种基于内容的视频分段方法

摘要

本发明公开了一种基于内容的视频分段方法。首先，利用字幕文件得到视频中的每一段话的内容和时间点，再利用每两段话之间的时间间隔，将贴近的话组合在一起作为一个较大的自然段，然后，对这个大的自然段进行分词处理，并对利用词和词之间的相似性，得到句子和句子之间的相似性，将相似性比较大的句子组合在一起作为一个自然段，然后根据对应的时间信息可以得到初步的视频分段位置。接着基于图像对视频进行镜头提取，再结合之前得到的分段位置，找到最终的准确分段位置。

主权项

1.一种基于内容的视频分段方法，其特征在于包括以下步骤：S01：由字幕文件提取出视频中的对话流S＝{s1，s2，s3，...，sn}，对话流S中的每一段对话s1，s2，s3，...，sn的开始时间B＝{b1，b2，b3，...，bn}，对话流S中的每一段对话s1，s2，s3，...，sn的结束时间E＝{e1，e2，e3，...，en}；S02：对于所有的相邻对话si，si‑1，设定一个阈值λ，当bi‑ei‑1＜λ时，则令si，si‑1归为同一段，从而将对话流S划分为m段，其中第i段由从第k句话开始，一共由l段连续的对话组成，即Si＝{sk，sk+1，sk+2，...sk+l‑1}；S03：使用分词工具对每一句话sk进行分词，去除非实词后得到sk的词列表Ck＝{ckl，ck2，ck3，...，ckh}；S04：通过以下公式求得任何两个句子sx和sy之间的相似度：其中f(cxi)为单词cxi词向量，f(cyi)为单词cyi词向量，由两个单词cxi，cyi的词向量的点积f(cxi)f(cyi)可以求得两个单词的相似度；S05：对于所有的Si，利用S04求得Si中所有句子之间的相似度矩阵Mi，对Mi进行分割，得到对应对话的分割方案；所述步骤S05中对Mi进行分割的方法为：1)对Mi进行变换，首先，对Mi中任何一个值x都做以下变换：其中g(x)是：然后对变换后的Mi中任意一个值mx，y都对其1*11的窗口作一个统计，即对{mx，y‑5，mx，y‑4，...，mx，y+4，mx，y+5}统计出小于mx，y的值的个数，以小于mx，y的值的个数替换掉mx，y；2)对替换后的Mi进行分割，分割方法如下：首先，定义一个分割方案的准确性：令a_x，y＝(y‑x+1)²，假设对S_i进行划分后得到分割方法BF＝{bf₁，bf₂，...，bf_p}，然后依照分割方法BF，可以计算方法BF的准确性：其中，tk和ak分别表示分割方法BF中第k个分割的tx，y值和ax，y值；分割是一个迭代的过程，其中第k步的分割的方法如下：计算所有在上一次分割BFk‑1的情况下，再对其中任意可以分割的地方进行划分形成的分割方法BF′k＝{BF′k1，BF′k2，BF′k3，...BF′kw}，计算出准确性D，取出BF′k中D为最大的值的BF′ku作为最优化分割方案BFk；3)由第2)步可以得到一系列的分割步骤BF₁，BF₂，BF₃...BF_g，对应的效率为D₁，D₂，D₃...D_g取出分割的提升δD_i＝D_i+1‑D_i，在每一次分割后计算δD_i集合的均值μ和方差v，当时停止；S06：对整个视频利用视频的图像特征提取边缘镜头；S07：在步骤S01中字幕文件的对话流S找到的分段处附近找寻最适合的分割镜头：如果文本在视频中的分段处为一段时间，则在该段时间中寻找变化最大的镜头作为分割镜头；如果该段时间中不存在边缘镜头，则选取离该段时间最近的镜头作为分割镜头；如果文本在视频中的分段处为一帧，则选取距离该帧最接近的镜头作为分割镜头。