[发明专利]视频处理方法与装置、计算机可读存储介质、计算机设备

说明书

本公开实施例提供一种视频处理方法与装置、计算机可读存储介质、计算机设备，用于获取第一位置序列，所述第一位置序列中包括多个位置信息，每个位置信息用于表征第一视频的一帧视频帧中目标对象执行动作时所处的位置；基于所述第一位置序列对所述第一视频进行特征提取，得到第一特征序列；基于所述第一特征序列，执行与所述第一视频相关的视频处理任务。

技术领域

本公开涉及计算机视觉技术领域，尤其涉及视频处理方法与装置、计算机可读存储介质、计算机设备。

背景技术

随着5G时代的到来，视频内容迎来爆发式增长，短视频和vlog等人体动作视频都非常流行。为了便于执行视频推送和分类等视频处理任务，常常需要对视频中的动作进行识别，并基于识别出的动作类别为视频添加标签。然而，由于动作具有多样性，并且一些视频中的动作本身可能并不具有特定含义。因此，基于标签来执行视频处理任务所得到的处理结果的准确度较低。

发明内容

本公开提供一种视频处理方法与装置、计算机可读存储介质、计算机设备。

根据本公开实施例的第一方面，提供一种视频处理方法，所述方法包括：获取第一位置序列，所述第一位置序列中包括多个位置信息，每个位置信息用于表征第一视频的一帧视频帧中目标对象执行动作时所处的位置；基于所述第一位置序列对所述第一视频进行特征提取，得到第一特征序列；基于所述第一特征序列，执行与所述第一视频相关的视频处理任务。

在一些实施例中，所述基于所述第一位置序列对所述第一视频进行特征提取，得到第一特征序列，包括：基于所述第一位置序列对所述第一视频进行关键点检测，得到第一关键点序列，所述第一关键点序列中包括所述第一视频的至少一帧视频帧中所述目标对象的关键点位置；基于所述第一关键点序列对所述第一视频进行特征提取，得到所述第一特征序列。

在一些实施例中，所述基于所述第一关键点序列对所述第一视频进行特征提取，得到所述第一特征序列，包括：对所述第一关键点序列进行归一化处理；将归一化处理后的所述第一关键点序列确定为所述第一特征序列。

在一些实施例中，所述对所述第一关键点序列进行归一化处理，包括：针对所述至少一帧视频帧中的每帧视频帧执行以下操作：对所述视频帧进行平移，平移后的所述视频帧中各个关键点的中心点位于坐标原点；基于平移后的所述视频帧中各个关键点与所述中心点的最大距离，对所述视频帧中各个关键点进行归一化处理。

在一些实施例中，所述方法还包括：在对所述第一关键点序列进行归一化处理之前，从所述第一关键点序列中过滤掉无效的关键点位置。

在一些实施例中，所述第一关键点序列中还包括各个关键点的置信度；所述基于所述第一关键点序列对所述第一视频进行特征提取，得到第一特征序列，包括：将所述第一关键点序列输入预先建立的图卷积网络；获取所述图卷积网络基于各个关键点的位置和置信度输出的所述第一特征序列。

在一些实施例中，所述基于所述第一位置序列对所述第一视频进行特征提取，得到第一特征序列，包括：基于所述第一位置序列，从所述第一视频的至少一帧视频帧中的每帧视频帧中裁剪出目标区域，所述目标区域中包括所述目标对象，且所述目标区域的尺寸大于所述目标对象的尺寸；将所述每帧视频帧对应的目标区域输入预先训练的卷积神经网络，并获取所述卷积神经网络输出的所述第一特征序列。

在一些实施例中，所述基于所述第一特征序列，执行与所述第一视频相关的视频处理任务，包括：获取视频库中的第二视频的第二特征序列；基于所述第一特征序列与所述第二特征序列之间的相似度，执行与所述第一视频相关的视频处理任务。

在一些实施例中，所述第二视频包括多个，所述视频处理任务包括视频分类任务；所述基于所述第一特征序列与所述第二特征序列之间的相似度，执行与所述第一视频相关的视频处理任务，包括：分别获取所述第一特征序列与多个所述第二视频中各个第二视频的第二特征序列之间的相似度；将与所述第一特征序列相似度最大的第二特征序列对应的第二视频的类别确定为所述第一视频的类别。