[发明专利]一种视频处理的方法和装置

权利要求书

1.一种视频处理的方法，其特征在于，所述方法包括：

获取目标视频数据；

从所述目标视频数据中，确定一组或多组第一相似帧，并确定每组第一相似帧对应的第一整体特征向量；每组第一相似帧包括第一关键帧，以及所述第一关键帧与后一个第一关键帧之间的图像帧；

将所述第一整体特征向量输入预先建立的数据模型，并接收所述数据模型针对所述目标视频数据输出的内容描述信息；

其中，在所述获取目标视频数据的步骤之前，还包括：

获取样本视频数据；

从所述样本视频数据中，确定一组或多组第二相似帧，并确定每组第二相似帧对应的第二整体特征向量和内容描述向量；

采用基于注意力机制的循环神经网络，对所述第二整体特征向量和所述内容描述向量进行训练，以建立数据模型。

2.根据权利要求1所述的方法，其特征在于，所述从所述目标视频数据中，确定一组或多组第一相似帧的步骤包括：

确定所述目标视频数据中每个图像帧对应的第一特征向量；其中，所述每个图像帧按在所述目标视频数据中的播放顺序进行排列；

根据所述第一特征向量，确定多个第一关键帧；

针对每个第一关键帧，将所述第一关键帧，以及所述第一关键帧与后一个第一关键帧之间的图像帧作为第一相似帧，得到一组或多组第一相似帧。

3.根据权利要求2所述的方法，其特征在于，所述根据所述第一特征向量，确定多个第一关键帧的步骤包括：

针对相邻图像帧，计算所述第一特征向量的差异值；其中，所述相邻图像帧为相邻排列的两个图像帧；

当检测到所述差异值大于预设差异值时，将所述差异值大于预设差异值对应的相邻图像帧中后一个图像帧，作为第一关键帧。

4.根据权利要求3所述的方法，其特征在于，所述确定每组第一相似帧对应的第一整体特征向量的步骤包括：

针对每组第一相似帧，对各个第一相似帧对应的第一特征向量进行均值处理，得到所述每组第一相似帧对应的第一整体特征向量。

5.根据权利要求1所述的方法，其特征在于，所述确定每组第二相似帧对应的内容描述向量的步骤包括：

针对每组第二相似帧，获取对应的原始内容描述；

对所述原始内容描述进行分词处理，并对所述分词处理后的原始内容描述进行去重处理，得到一个或多个字词；

以所述一个或多个字词的数量为向量长度，对所述原始内容描述进行编码，得到每组相似帧对应的内容描述向量。

6.一种视频处理的装置，其特征在于，所述装置包括：

目标视频数据获取模块，用于获取目标视频数据；

第一整体特征向量确定模块，用于从所述目标视频数据中，确定一组或多组第一相似帧，并确定每组第一相似帧对应的第一整体特征向量；每组第一相似帧包括第一关键帧，以及所述第一关键帧与后一个第一关键帧之间的图像帧；

内容描述信息接收模块，用于将所述第一整体特征向量输入预先建立的数据模型，并接收所述数据模型针对所述目标视频数据输出的内容描述信息；

其中，所述装置还包括：

样本视频数据获取模块，用于获取样本视频数据；

向量确定模块，用于从所述样本视频数据中，确定一组或多组第二相似帧，并确定每组第二相似帧对应的第二整体特征向量和内容描述向量；

模型建立模块，用于采用基于注意力机制的循环神经网络，对所述第二整体特征向量和所述内容描述向量进行训练，以建立数据模型。

7.根据权利要求6所述的装置，其特征在于，所述第一整体特征向量确定模块包括：

第一特征向量确定子模块，用于确定所述目标视频数据中每个图像帧对应的第一特征向量；其中，所述每个图像帧按在所述目标视频数据中的播放顺序进行排列；

第一关键帧确定子模块，用于根据所述第一特征向量，确定多个第一关键帧；

第一相似帧得到子模块，用于针对每个第一关键帧，将所述第一关键帧，以及所述第一关键帧与后一个第一关键帧之间的图像帧作为第一相似帧，得到一组或多组第一相似帧。