[发明专利]一种基于连续拷贝帧序列的拷贝视频检测方法

权利要求书

1.一种基于连续拷贝帧序列的拷贝视频检测方法，包括以下步骤：

第一步，对参考视频进行处理，即提取参考视频的关键帧、提取关键帧特征，并将关键帧的所属参考视频和帧号信息及其特征存储到参考视频数据库中，具体方法是：

1.1、从参考视频提取关键帧：每隔T秒从参考视频提取一帧关键帧，T为自然数，提取出的关键帧构成关键帧集合R'，R'＝{r₁′,r′₂,...,r′_j,...,r′_N}，r′_j为第j个参考视频关键帧，1≤j≤N，N为参考视频关键帧的数量，是一个大于1的自然数；

1.2、提取参考视频关键帧集合R'中各参考视频关键帧的特征：将R'中各关键帧图像的尺寸归一化为227×227，得到归一化后的关键帧集合R＝{r₁,r₂,...,r_j,...,r_N}，r_j为第j个归一化后的参考视频关键帧，然后将归一化后的关键帧与各关键帧图像的图像均值的差值输入到AlexNet卷积神经网络模型中，选择模型中FC7层的4096维向量作为关键帧的特征，得到N个4096维的特征向量，将这N个4096维的特征向量存储在参考视频数据库中；参考视频数据库还包含一张参考视频关键帧表，该表包含N个表项，每个表项包含4个域，即关键帧序号、关键帧所属的参考视频标号，关键帧在所属参考视频中的帧序号，关键帧特征的存放路径；

第二步，提取待检测视频的关键帧，并提取关键帧的特征，具体方法是：

2.1、从待检测视频提取关键帧，每隔t秒从待检测视频提取视频关键帧，t为自然数；提取出的关键帧构成待检测视频关键帧集合Q，Q＝{q₁,q₂,...q_i,...,q_M}，q_i为按时间先后排序的待检测视频关键帧，1≤i≤M，M表示待检测视频关键帧的数量，是一个大于1的整数；

2.2、提取待检测视频关键帧集合Q中各待检测视频关键帧特征：将所有关键帧图像的尺寸归一化为227×227，然后将其与图像均值的差值输入到AlexNet卷积神经网络模型中，选择模型中FC7层的4096维向量作为待检测视频关键帧的特征；提取M个待检测视频关键帧特征，得到M个4096维的特征向量；

其特征在于还包括以下步骤：

第三步，基于参考视频关键帧特征和待检测视频关键帧特征，进行关键帧的相似性计算和最相似关键帧匹配，方法为：

3.1、依次访问参考视频关键帧表中的关键帧特征存放路径并读取关键帧特征，将N个参考视频关键帧的4096维特征向量组合在一起，构成一个4096×N的参考视频关键帧特征矩阵；

3.2、将待检测视频关键帧集合Q的M个4096维特征向量组合在一起，构成一个4096×M的待检测视频关键帧特征矩阵；

3.3、采用近似最邻近搜索算法对待检测视频关键帧特征矩阵中的每一行在参考视频关键帧特征矩阵中搜索欧式距离最小的行向量，找到距离待检测关键帧q_i最近的一个关键帧j^*为最相似关键帧序号，并计算出q_i和之间的距离得到待检测视频关键帧集合Q的最相似参考视频关键帧序号列表R^*和每个待视频关键帧与其最相似参考帧之间的距离，即最相似帧距离d₁,d₂,...d_i,...,d_M；

第四步，基于待检测视频关键帧集合Q的最相似帧列表R^*和最相似帧距离d₁,d₂,...d_i,...,d_M，判断待检测视频关键帧是否为拷贝帧，寻找连续拷贝帧序列，从而判断待检测视频是否为拷贝视频，并对拷贝视频进行定位，具体方法为：

4.1、根据最相似帧距离d₁,d₂,...d_i,...,d_M，初步判断每个待检测视频关键帧是否为拷贝帧，方法是：

4.1.1归一化q₁,q₂,...q_i,...,q_M的最相似帧距离d₁,d₂,...d_i,...,d_M，得到归一化最相似帧距离D₁,D₂,...,D_i,...,D_M，计算归一化最相似帧距离D₁,D₂,...,D_i,...,D_M的平均值K；

4.1.2根据待检测视频关键帧的归一化最相似帧距离D₁,D₂,...,D_i,...,D_M确定待检测视频关键帧q₁,q₂,...q_i,...,q_M的拷贝属性值y₁,y₂,...,y_i,...y_M；

4.2、基于待检测视频关键帧q₁,q₂,...q_i,...,q_M的拷贝属性值y₁,y₂,...y_i,...,y_M，检测并纠正错判的关键帧拷贝属性：

4.2.1根据关键帧的拷贝属性值，根据关键帧的拷贝属性值，对待检测视频关键帧进行区间划分，得到待检测视频关键帧区间集合W、正区间集合W⁺和待验证关键帧区间集合W^*，方法是：

4.2.1.1初始化变量i＝1；

4.2.1.2初始化变量j₁＝2，令第一分界点x₁＝1；

4.2.1.3如果y_i≠y_i+1，则令第j₁分界点转4.2.1.4；如果y_i＝y_i+1，令j₁＝j₁+1,转4.2.1.3；

4.2.1.4 i＝i+1；

4.2.1.5如果iM，则执行4.2.1.3；否则，说明已经找出所有的区间分界点，完成对待检测视频关键帧区间的划分，分界点个数m＝j₁+1，第m分界点x_m＝M，待检测视频关键帧区间集合W＝{w₁,w₂,...,w_n,...w_m-1}，w_n为第n个区间，1≤n≤m-1，转4.2.1.6；

4.2.1.6初始化关键帧区间个数变量j^#＝1，初始化待验证关键帧区间计数变量n^*＝1，初始化待验证区间总数N^*＝1，初始化正区间计数变量n⁺＝1，初始化正区间总数N⁺＝1，初始化正区间集合W⁺和待验证关键帧区间集合W^*为空集；

4.2.1.7令区间的长度如果区间内的关键帧属性值为1，则该区间属于正区间集合W⁺，n⁺＝n⁺+1；如果l为长度阈值，则为待验证关键帧区间属于待验证区间集合W^*，区间的起始边界为结束边界为n^*＝n^*+1；

4.2.1.8 j^#＝j^#+1；

4.2.1.9如果j^#≤m，执行4.2.1.7，否则，说明已经找出所有待验证区间和正区间，令N^*＝n^*,N⁺＝n⁺，令待验证区间集合为正区间集合为转4.2.1.10；

4.2.1.10如果或即拷贝属性为1的正区间均为待验证区间，则说明该待检测视频为非拷贝视频，转第五步；如果且则说明待检测视频为拷贝视频且关键帧区间不存在待验证区间，无需对关键帧的拷贝属性进行重新验证，可直接对拷贝片段进行定位，转4.3；如果且W⁺≠W^*且且则说明待检测视频为拷贝视频，且存在待验证区间需要验证拷贝属性，转4.2.2；

4.2.2对4.2.1得到的待验证区间集合W^*中的待验证区间按长度从小到大的顺序对其拷贝属性的正确性进行验证并纠正错判的关键帧拷贝属性，方法是：

4.2.2.1将待验证关键帧区间集合W^*内的区间按长度从小到大的顺序进行排列，排列后的待验证关键帧区间集合为其中a_j为在W^*中对应的区间的序号n^*，1≤a_j≤N^*，

4.2.2.2初始化变量ii＝1，处理对象为排列后的待验证关键帧区间；

4.2.2.3如果区间的长度小于其在待检测视频关键帧区间中前后相邻的区间即和的长度，将区间内的关键帧拷贝属性值取反；

4.2.2.4 ii＝ii+1；

4.2.2.5如果ii≤N^*，执行4.2.2.3；否则，说明完成对待验证关键帧区间的重新判断，得到纠正后的关键帧拷贝属性值，并得到更新了的正区间集合z为最终的正区间个数；W⁺中的正区间内的关键帧构成连续拷贝帧序列C_jj，C_jj＝{c_jj1,c_jj2,...,c_jji,...,c_jjL}，即为该拷贝帧序列的长度，该序列中的第一个关键帧c_jj1和最后一个关键帧c_jjL的时间位置，即为拷贝片段在待检测视频中的时间起始位置和结束位置；

4.3、对拷贝片段进行判断与定位，方法是：

根据待检测视频关键帧集合Q的最相似参考视频关键帧序号列表R^*，记录连续拷贝帧序列C_jj中每一个关键帧的最相似参考视频关键帧，找出其中长度最长的连续参考视频关键帧序列E_jj，E_jj＝{e_i,e_i+1,...,e_i+b|i≥1,i+b≤L}，e_i为长度最长的参考视频关键帧序列的第一帧的帧号，i等于第一帧e_i所对应的待检测视频关键帧在连续拷贝帧序列C_jj中的位置jji，b为该关键帧序列E_jj的长度，以E_jj作为定位基准，将该序列向前和向后扩展，使得扩展后的序列长度为连续拷贝帧序列的长度L，得到扩展后的最长最相似参考视频关键帧序列的第一帧e_i-i+1和最后一帧e_i+L-i+1的时间位置即为拷贝片段在参考视频中的起始位置和结束位置；

第五步，如果待检测视频被判断为拷贝视频，输出“待检测视频为拷贝视频”消息，并输出拷贝片段的在待检测视频和参考视频中的起始位置和结束位置，结束；如果待检测视频被判断为非拷贝视频，输出“待检测视频为非拷贝视频”消息，结束。