[发明专利]一种视频数据集标注方法及装置

权利要求书

1.一种视频数据集标注方法，包括以下步骤：

步骤S1：根据设定的动作类别选择规则确定数据集标签，该数据集标签表征短时间的瞬时动作和循环动作类型；

步骤S2：根据所述数据集标签筛选出匹配的待标注视频；

步骤S3：将待标注视频上传至标注工具平台进行动作行为检测和标注，以确定动作行为类型标签以及对应的起始帧和结束帧位置。

2.根据权利要求1所述的方法，其特征在于，所述根据设定的动作类别选择规则确定数据集标签包括：

选择通用场景下的常见标签，并排除非特定场景特定人群类的标签；

排除动作定义宽泛的标签；

排除通过交互对象的差异性区分而非人类姿态变化的不同而分类的标签；

排除在每个动作中都通用的基础身体状态标签；

对于可拆分的动作进行拆分，以获得细粒度标签。

3.根据权利要求1所述的方法，其特征在于，步骤S2包括：

根据所述数据集标签搜集相关视频，并进行查重和筛选，其中查重通过对视频第一帧和最后一帧的哈希值的汉明距离来计算相似性；

根据相似性结果确定待处理视频是否通过查重检测。

4.根据权利要求1所述的方法，其特征在于，所述标注工具平台设有起始帧选择区域、视频选择区域、标签选择区域、结果显示区域以及视频播放区域，其中，所述起始帧选择区域用于供用户标注起始帧与结束帧；所述视频选择区域用于供用于选择待标注的一个或多个视频；所述标签选择区域用于供用户标注动作行为标签；所述结果显示区域用于向用户显示标注起始时间；所述视频播放区域用于向用户显示待标注视频的连续多帧图像，以供标注动作行为的起始帧。

5.根据权利要求4所述的方法，其特征在于，步骤S3包括：

输入待标注视频并点击播放键或通过滑动条浏览待标注视频；

在所述视频选择区域，显示连续的24帧图像，以供用户选择待标注动作行为的起始帧和结束帧；

通过所述标签选择区域的菜单栏添加标签，并选定标签的开始和结束；

通过所述结果显示区域的时间轴检测已标注行为片段，以供用户检查错标、漏标以及二次质检；

通过设置在所述标签选择区域的保存，删除菜单对标注结果进行选择。

6.根据权利要求1所述的方法，其特征在于，还包括：

步骤S4：对标注结果进行抽样可视化质检并通过行为识别模型对背景样例以及行为段样例进行识别。

7.根据权利要求6所述的方法，其特征在于，步骤S4包括：

采用TSN行为识别模型对背景视频段以及行为视频段进行识别，给出其本身对于行为类别的预测类别得分，从而检验标注结果质量。

8.一种视频数据集标注装置，包括：

标签选择模块：用于根据设定的动作类别选择规则确定数据集标签，该数据集标签表征短时间的瞬时动作和循环动作类型；

视频检索模块：用于根据所述数据集标签筛选出匹配的待标注视频；

数据集标注模块：将待标注视频上传至标注工具平台进行动作行为检测和标注，以确定动作行为类型标签以及对应的起始帧和结束帧位置。

9.一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现根据权利要求1至7中任一项所述方法的步骤。

10.一种计算机设备，包括存储器和处理器，在所述存储器上存储有能够在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至7中任一项所述的方法的步骤。