[发明专利]一种基于时序特征的同源视频检索方法及系统

权利要求书

1.一种基于时序特征的同源视频检索方法，其特征在于，其包括以下步骤：

(1)构建神经网络模型，使用开源数据集对网络模型参数进行训练，训练直至模型参数收敛后将网络模型参数固定；

(2)使用训练完成的模型对需要保护及检索的视频提取对应特征向量；

(3)设定相似度检索阈值，进行相似度计算。

2.根据基于时序特征的同源视频检索方法，其特征在于，所述的步骤(1)具体包括以下步骤：

(1-1)关键帧提取：查询及检索视频拆解成帧，按照视频时长在一定时长内提取一定数量帧，最后对提取出的帧进行采样，并缩放到设定尺寸后得到视频关键帧；

(1-2)帧特征提取：将视频关键帧输入至在ImageNet数据集上预训练好的深度残差卷积神经网络中，进行正向传播对帧图片各通道提取特征，经过池化、激活、正则操作后提取最后一层平均池化层输出的向量作为各帧的特征向量；

(1-3)时序特征提取：将各帧的特征向量按帧在视频中出现的时序顺序输入至Transformer编码器中，得到帧与帧之间的时序信息特征向量；

(1-4)帧重要性信息提取：使用注意力机制对各帧的特征向量提取不同语义空间中的映射，得到包含各帧重要性信息的特征向量，经过拼接聚合后得到帧重要性信息特征向量；

(1-5)特征聚合：将自注意力机制与时序特征提取模块的输出特征向量输入全连接层加权聚合之后得到视频整体特征向量表示；

(1-6)孪生网络训练：训练网络参数时，在每个训练轮次对每个输入视频提取一个与该视频同源的视频作为正样本，一个与该视频不同源的视频作为负样本，构建成为三元组，使用三元组损失函数Triplet Loss得到损失值，使用损失值计算出梯度后对神经网络进行反馈传播并更新各层参数，重复此步骤直至网络参数收敛。

3.根据基于时序特征的同源视频检索方法，其特征在于，步骤(2)具体包括以下步骤：

(2-1)构建需要保护的视频数据库：对系统需要保护的用户原创视频存入数据库，每个保护视频通过步骤(1)得到视频的特征向量，将所有视频的特征向量存放至数据库中得到所有保护视频的特征矩阵；

(2-2)对检索视频提取特征：对于需要检测是否存在与保护视频库内视频产生侵权的视频，通过步骤(1)提取对应的视频特征向量，进行比对检索。

4.根据基于时序特征的同源视频检索方法，其特征在于，步骤(3)具体包括以下步骤：

(3-1)设定相似度检索阈值：计算得到检索视频与保护视频之间的相似度，该相似度在(0,1)区间内，1表示模型判断检索视频与保护视频100％相似，0表示完全不相似，其他值则表示相似性的百分比；设定一个检索阈值，则系统将返回相似度超过该阈值的视频对作为疑似产生侵权行为结果，供用户后续进一步判定；

(3-2)计算相似度：在步骤(2)中得到的检索视频的特征向量，逐一与保护视频库内的特征矩阵进行点乘操作，得到检索视频与每一保护视频的特征向量之间的余弦距离作为相似度；逐一比对相似度以判断是否有超过设定的阈值，如有则返回该视频对作为系统检测结果，没有则返回未检测出疑似侵权视频作为系统检测结果。

5.一种基于时序特征的同源视频检索系统，所述系统用于权利要求1-5中任一于时序特征的同源视频检索方法，其特征在于，其包括

模型构建及训练模块，用于构建神经网络模型，并训练网络模型参数至模型参数收敛后将网络模型参数固定；

特征提取模块，提取特征并构成保护视频特征矩阵存入数据库；

相似度计算模块，用于对比检索视频是否产生侵权。