[发明专利]一种视频数据处理方法及电子设备

说明书

本申请提供一种视频数据处理方法及电子设备，所述方法包括：以视频内容包含动作事件为划分条件，对目标视频进行第一处理以得到多个第一视频片段，所述动作事件用于表征至少一个连续动作；其中，多个所述第一视频片段内至少包含一个所述动作事件；基于多个所述第一视频片段得到多个分别与所述动作事件对应的骨架点姿态序列；基于多个所述骨架点姿态序列分别对多个所述第一视频片段进行第二处理，以至少得到多个所述第一视频片段中每个所述连续动作的起止信息；其中，所述第一处理与所述第二处理的处理方式不同。本申请的视频数据处理方法能够准确识别出视频数据中出现的连续动作。

技术领域

本申请实施例涉及计算机技术领域，特别涉及一种视频数据处理方法及电子设备。

背景技术

实际生活中的视频数据，如手机录制长视频、影视剧等，往往在同一视频内沿时间顺序存在人物的多个动作事件，而非传统视频动作识别任务中的单个视频仅对应一个动作标签，因此时序动作事件检测任务(Temporal action detection)受到越来越多的关注，该任务要求针对目标视频回答(1)视频的第几秒起至第几秒止存在人物动作。(2)该段人物动作事件属于何种类别。

目前现有方案都是基于RGB视频信息以及起止时段标签训练卷积网络，卷积网络能捕捉图像中的全局颜色信息，对镜头切换等场景变化较为敏感，但容易忽略视频中的人物行为变化，即并未区分画面内的人物与背景，导致视频内人物在原位连续执行多个连续动作时，模型难以识别出任务动作。

发明内容

本申请提供了一种能够准确识别出视频数据中出现的连续动作，及其在视频中的起止信息的视频数据处理方法，及应用该方法的电子设备。

为了解决上述技术问题，本申请实施例提供了一种视频数据处理方法，包括：

以视频内容包含动作事件为划分条件，对目标视频进行第一处理以得到多个第一视频片段，所述动作事件用于表征至少一个连续动作；其中，多个所述第一视频片段内至少包含一个所述动作事件；

基于多个所述第一视频片段得到多个分别与所述动作事件对应的骨架点姿态序列；

基于多个所述骨架点姿态序列分别对多个所述第一视频片段进行第二处理，以至少得到多个所述第一视频片段中每个所述连续动作的起止信息；

其中，所述第一处理与所述第二处理的处理方式不同。

作为另一实施例，还包括：

基于每个所述连续动作的起止信息对所述目标视频或多个所述第一视频片段进行裁取，以得到多个视频内容仅包含连续动作的第二视频片段。

作为另一实施例，所述以视频内容包含动作事件为划分条件，对目标视频进行第一处理以得到多个第一视频片段，包括：

以视频内容包含一动作事件为划分条件，对所述目标视频中的每帧图像进行识别处理，以得到多个所述第一视频片段。

作为另一实施例，所述基于多个所述第一视频片段得到多个分别与一动作事件对应的骨架点姿态序列，包括：

对每个所述第一视频片段中的每帧图像提取动作姿态；

基于提取的所述动作姿态确定所述骨架点姿态；

基于对应每一帧图像的骨架点姿态确定对应所述多个第一视频片段中的每一个动作事件的骨架点姿态序列。

作为另一实施例，所述基于对应每一帧图像的骨架点姿态确定对应所述多个第一视频片段中的每一个动作事件的骨架点姿态序列，包括：

基于每个所述第一视频片段中的每一帧图像的骨架点姿态确定对应每个所述第一视频片段的候选骨架点姿态序列，所述候选骨架点姿态序列包括与至少一个所述动作事件对应的骨架点姿态序列；